製品機能保持の詳細 — MCC 係数

前回は、情報獲得メトリックを使用して、ユーザー維持への影響に基づいて製品機能をランク付けしました。

情報獲得は、意思決定ツリーと呼ばれる ML アルゴリズムで使用される非常に堅牢で有用なアプローチです。これは、各製品の機能がユーザーを 2 つのグループ (継続ユーザーと解約ユーザー) にどの程度うまく分類しているかを定量化するのに役立ちます。

以前の投稿で述べたように、製品機能のリテンションへの影響を評価する際には、両方のケースを考慮する必要があります。

• 機能を使用して保持したユーザーの割合
• future を使用せず、保持されなかった% ユーザー

前回の記事で触れたfeature18に戻りましょう。

feature18は 3 番目に高い情報ゲイン (0.0139)を持っていますが、注意深く見ると次のことがわかります。

• 機能18を使用したユーザーのユーザー維持率 = 7.4%
• 機能18を使用しなかったユーザーのユーザー維持率 = 19.9%

ML の観点からはまったく問題ありませんが、製品分析の観点からは、ユーザーが製品に戻ってこないのではなく、製品に戻る可能性が最も高い製品の機能をランク付けしたいわけではありません。

この問題を克服するには、MCC 係数を使用することをお勧めします。この係数は、2 つのバイナリ変数の相関係数です。

MCC 計算にはいくつかのバリエーションがありますが、私はこれを使用することを好みます。

そこでMCC係数を計算して可視化してみましょう。

上のグラフは、非常に興味深い洞察をいくつか示しています。

1. feature18とその他のいくつかは負の値を持っています。
2. 多くの人気のある製品機能 (多くのユーザーが使用) は、リテンションに悪影響を及ぼします。

これらの人気のある機能に問題はありません。それらはある種のセットアップ機能です。ユーザーは、「オンボーディング」中に製品を構成するためにそれらを使用しました。

これらの製品機能は目標到達プロセスの最上部 (意思の低いユーザーが多数存在する場所) に表示されるため、ユーザー維持率はかなり低くなります。

次に、 MCC 係数と情報ゲインを直接比較する表を作成しましょう。

注意深く見ると、メトリクス [返されたユーザーの割合 (%)] が加重平均を下回っている場合、 MCC 係数が負であることがわかります。

そのため、 MCC係数を使用して、ユーザー維持へのプラスの影響に基づいて製品機能をランク付けすることができました. さらに、ユーザー維持にマイナスの影響を与える製品機能を特定することができました。