Głębokie badanie retencji cech produktu — współczynnik MCC

Ostatnim razem użyliśmy wskaźnika zdobywania informacji do uszeregowania funkcji produktu na podstawie ich wpływu na utrzymanie użytkowników.

Pozyskiwanie informacji jest dość solidnym i użytecznym podejściem stosowanym w algorytmie ML, zwanym drzewem decyzyjnym . Pomaga określić ilościowo, jak dobrze każda funkcja produktu dzieli użytkowników na 2 grupy: zatrzymanych i odrzuconych.

Jak wspomniałem w poprzednim poście , gdy chcemy ocenić wpływ cechy produktu na retencję, musimy wziąć pod uwagę oba przypadki:

• % użytkowników, którzy korzystali z funkcji i zachowali
• % użytkowników, którzy nie korzystali w przyszłości i nie zostali zatrzymani

Wróćmy do funkcji 18 , o której wspomniałem w poprzednim poście.

Feature18 ma 3 najwyższy przyrost informacji (0,0139) , ale jeśli przyjrzymy się uważnie, zobaczymy:

• użytkownicy, którzy korzystali z funkcji 18 , mają utrzymanie użytkowników = 7,4%
• użytkownicy, którzy nie korzystali z funkcji 18 , mają utrzymanie użytkowników = 19,9%

Z perspektywy ML jest to całkowicie w porządku, ale z perspektywy analityki produktu nie jest tak, jak chcemy oceniać cechy produktu, na podstawie których użytkownicy najprawdopodobniej wrócą do produktu, a nie zwrócą.

Aby przezwyciężyć ten problem, zalecam użycie współczynnika MCC . Współczynnik ten jest współczynnikiem korelacji dla dwóch zmiennych binarnych.

Istnieje kilka wariantów obliczania MCC, ale ja wolę korzystać z tego:

Obliczmy więc współczynnik MCC i zwizualizujmy go.

Powyższy wykres daje nam kilka bardzo interesujących spostrzeżeń:

1. Feature18 i kilka innych mają wartość ujemną .
2. wiele popularnych funkcji produktu (używanych przez wielu użytkowników) ma negatywny wpływ na retencję.

Nie ma nic złego w tych popularnych funkcjach. Są to pewnego rodzaju funkcje konfiguracyjne. Użytkownicy używali ich do konfigurowania produktu podczas „onboardingu”.

Ponieważ te funkcje produktu pojawiają się u góry ścieżki (gdzie jest wielu użytkowników o niskich zamiarach), mają raczej niski wskaźnik utrzymania użytkowników.

Teraz zbudujmy tabelę, aby bezpośrednio porównać współczynnik MCC z przyrostem informacji .

Jeśli przyjrzymy się uważnie, zauważymy, że współczynnik MCC jest ujemny, gdy metryka [% zwróconych użytkowników prd] jest poniżej średniej ważonej.

Dzięki współczynnikowi MCC udało nam się więc uszeregować cechy produktów na podstawie ich pozytywnego wpływu na retencję użytkowników. Ponadto udało nam się zidentyfikować cechy produktu, które raczej negatywnie wpływają na retencję użytkowników.