Testy A / B - jak to działa
Możesz monitorować działania odwiedzających za pomocą statystyk i analiz, aby określić wersję, która zapewnia wyższy współczynnik konwersji. Wyniki testów A / B są zwykle podawane fantazyjniemathematical and statistical terms, ale znaczenie liczb jest w rzeczywistości dość proste. Istnieją dwie istotne metody sprawdzania współczynników konwersji za pomocą testów A / B -
- Pobieranie próbek danych
- Przedziały ufności
Omówmy szczegółowo te dwie metody.
Pobieranie próbek danych
Liczba próbek zależy od liczby wykonanych testów. Liczba współczynników konwersji nazywana jest próbką, a proces zbierania tych próbek nazywany jest próbkowaniem.
Przykład
Powiedzmy, że masz dwa produkty A i B, chcesz zebrać przykładowe dane zgodnie z ich zapotrzebowaniem na rynku. Możesz poprosić kilka osób, aby wybrały produkty A i B, a następnie poprosić je o udział w ankiecie. Wraz ze wzrostem liczby uczestników zacznie się wyświetlaćrealistic conversion rate.
Istnieją różne narzędzia, których można użyć do określenia prawidłowej wielkości próbki. Jednym z takich bezpłatnych narzędzi jest -
http://www.evanmiller.org
Przedziały ufności w testach A / B
Przedział ufności jest miarą odchylenia od średniej wielu próbek. Załóżmy, że 22% osób preferuje produkt A w powyższym przykładzie z ± 2% przedziałem ufności. Ten przedział wskazuje górną i dolną granicę osób, które wybierają produkt A i jest również nazywany marginesem błędu. Aby uzyskać najlepsze wyniki w tej średniej ankiecie,the margin of error should be as small as possible.
Przykład
Załóżmy, że w produkcie B dodaliśmy niewielką zmianę, a następnie przeprowadziliśmy testy A / B na tych dwóch produktach. Iloczyn przedziału ufności A i B wynosi odpowiednio 10% z ± 1% i 20% z ± 2%. To pokazuje, że niewielka zmiana zwiększyła współczynnik konwersji. Jeśli pominiemy margines błędu, współczynnik konwersji dla wariantu testowego A wynosi 10%, a współczynnik konwersji dla wariantu testowego B wynosi 20%, czyli 10% wzrost wariancji testowej.
Teraz, jeśli podzielimy różnicę przez współczynnik zmienności kontroli 10% ÷ 10% = 1,0 = 100%, to pokazuje poprawę o 100%. Dlatego możemy powiedzieć, że testy A / B to technika oparta na metodach matematycznych i analizie. Istnieje wiele narzędzi internetowych, których można użyć do obliczenia istotności A / B.
http://getdatadriven.com
