Product Feature Retention Deep Dive – MCC-Koeffizient

Letztes Mal haben wir die Metrik Informationsgewinn verwendet, um Produktfunktionen basierend auf ihrer Auswirkung auf die Benutzerbindung einzustufen.

Informationsgewinn ist ein ziemlich robuster und nützlicher Ansatz, der im ML-Algorithmus verwendet wird, der als Entscheidungsbaum bezeichnet wird . Es hilft zu quantifizieren, wie gut jede Produktfunktion Benutzer in zwei Gruppen unterteilt: behalten und abgewandert.

Wie ich in einem früheren Beitrag erwähnt habe, müssen wir beide Fälle berücksichtigen, wenn wir die Auswirkungen von Produktfunktionen auf die Kundenbindung bewerten wollen :

• % verwendet, wer die Funktion verwendet und beibehalten hat
• % Benutzer, die Future nicht verwendet und nicht beibehalten haben

Kehren wir zu Feature 18 zurück, das ich im vorherigen Beitrag erwähnt habe.

feature18 hat den dritthöchsten Informationsgewinn (0,0139) , aber wenn wir genau hinsehen, werden wir sehen:

• Benutzer, die Feature18 verwendet haben, haben eine Benutzerbindung = 7,4 %
• Benutzer, die Feature18 nicht verwendet haben, haben eine Benutzerbindung = 19,9 %

Aus ML-Perspektive ist das völlig in Ordnung, aber aus Sicht der Produktanalyse wollen wir Produktmerkmale nicht einstufen, anhand derer Benutzer höchstwahrscheinlich zum Produkt zurückkehren und nicht zurückkehren.

Um dieses Problem zu umgehen, empfehle ich die Verwendung des MCC-Koeffizienten . Dieser Koeffizient ist ein Korrelationskoeffizient für zwei binäre Variablen.

Es gibt mehrere Varianten der MCC-Berechnung, aber ich bevorzuge diese:

Lassen Sie uns also den MCC -Koeffizienten berechnen und visualisieren.

Die obige Grafik gibt uns einige sehr interessante Einblicke:

1. feature18 und einige andere haben einen negativen Wert.
2. Viele beliebte Produktfunktionen (die von vielen Benutzern verwendet werden) wirken sich negativ auf die Kundenbindung aus.

An diesen beliebten Funktionen ist nichts auszusetzen. Sie sind eine Art Setup-Funktionen. Benutzer haben sie verwendet, um das Produkt während des „Onboardings“ zu konfigurieren.

Da diese Produktfunktionen ganz oben im Trichter erscheinen (wo es viele Benutzer mit geringer Absicht gibt), haben sie eine eher geringe Benutzerbindung.

Lassen Sie uns nun eine Tabelle erstellen, um den MCC-Koeffizienten direkt mit dem Informationsgewinn zu vergleichen .

Wenn wir genau hinsehen, können wir erkennen, dass der MCC-Koeffizient negativ ist, wenn die Metrik [% wiederkehrende Nutzer prd] unter dem gewichteten Durchschnitt liegt.

Mithilfe des MCC-Koeffizienten ist es uns also gelungen, Produktfunktionen basierend auf ihrer positiven Auswirkung auf die Benutzerbindung einzustufen. Darüber hinaus ist es uns gelungen, Produkteigenschaften zu identifizieren, die sich eher negativ auf die Nutzerbindung auswirken.