Analyse approfondie de la rétention des caractéristiques du produit — Coefficient MCC

La dernière fois, nous avons utilisé la métrique de gain d'informations pour classer les fonctionnalités du produit en fonction de leur impact sur la rétention des utilisateurs.

Le gain d'informations est une approche assez robuste et utile qui est utilisée dans l'algorithme ML appelé arbre de décision . Il aide à quantifier la façon dont chaque fonctionnalité du produit sépare les utilisateurs en 2 groupes : retenus et régénérés.

Comme je l'ai mentionné dans un article précédent, lorsque nous voulons évaluer l'impact des fonctionnalités du produit sur la rétention, nous devons prendre en compte les deux cas :

• % d'utilisateurs qui ont utilisé la fonctionnalité et conservé
• % d'utilisateurs qui n'ont pas utilisé future et non retenus

Revenons à feature18 dont j'ai parlé dans le post précédent.

feature18 a le 3e gain d'information le plus élevé (0,0139) , mais si nous regardons attentivement, nous verrons :

• les utilisateurs qui ont utilisé feature18 ont une rétention d'utilisateurs = 7,4 %
• les utilisateurs qui n'ont pas utilisé la fonctionnalité 18 ont une rétention d'utilisateurs = 19,9 %

Du point de vue ML, c'est tout à fait correct, mais du point de vue de l'analyse des produits, ce n'est pas comme nous voulons classer les fonctionnalités du produit en utilisant lesquelles les utilisateurs reviennent le plus probablement au produit plutôt que de ne pas revenir.

Pour surmonter ce problème, je recommande d'utiliser le coefficient MCC . Ce coefficient est un coefficient de corrélation pour deux variables binaires.

Il existe plusieurs variantes de calcul MCC, mais je préfère utiliser celle-ci :

Alors, calculons le coefficient MCC et visualisons-le.

Le graphique ci-dessus nous donne quelques informations très intéressantes :

1. feature18 et quelques autres ont une valeur négative .
2. de nombreuses fonctionnalités populaires du produit (utilisées par de nombreux utilisateurs) ont un impact négatif sur la rétention.

Rien de mal avec ces fonctionnalités populaires. Ce sont une sorte de fonctionnalités de configuration. Les utilisateurs les ont utilisés pour configurer le produit lors de l'« intégration ».

Comme ces fonctionnalités de produit apparaissent en haut de l'entonnoir (où il y a beaucoup d'utilisateurs avec une faible intention), elles ont une rétention d'utilisateurs plutôt faible.

Construisons maintenant un tableau pour comparer directement le coefficient MCC vs le gain d'information .

Si nous regardons attentivement, nous pouvons remarquer que le coefficient MCC est négatif lorsque la métrique [% d'utilisateurs retournés prd] est inférieure à la moyenne pondérée.

Ainsi, en utilisant le coefficient MCC, nous avons réussi à classer les fonctionnalités du produit en fonction de leur impact positif sur la rétention des utilisateurs. De plus, nous avons réussi à identifier les fonctionnalités du produit qui ont plutôt un impact négatif sur la rétention des utilisateurs.