Результаты измерения

В этой главе мы обсудим, как измерить результаты и упростить статистику тестирования, проведенного на веб-сайте.

Понимание статистики

Исследователи могут понимать статистику, а могут и не понимать. Но инструмент A / B-тестирования оказывается спасителем, упрощая эту статистику. Таким образом можно избежать большого количества вычислений. Большинство инструментов тестирования последовательно используют критерий 95% для успешного достижения цели.

Это означает, что из 10 вы выигрываете на 9. Давайте рассмотрим пример. Отчет вашего инструмента тестирования выглядит следующим образом -

Вариации	Коэффициент конверсии
Страница управления	1,91%
1	2,39%
2	2,16%
3	3,10%

Этот отчет прогнозирует отклонение коэффициента конверсии более или менее 0,20% на интервале 95%. Статистически диапазон целей составляет от 1,76 до 2,06.

Получение статистики

Планируя тест, я помню две цели. Во-первых, это увеличение доходов, а во-вторых, получение информации о том, что привело к повышению рентабельности инвестиций.

Например, в тематическом исследовании мы перенаправляем трафик на страницу продукта, а не на страницу категории или домашнюю страницу, улучшающую коэффициент конверсии или нет. Мы взяли три варианта, в одном мы направили трафик на домашнюю страницу, загруженную категориями и подкатегориями, направляя дальше на страницу продукта. Во втором мы направили трафик на страницу категории, добавив фильтры. В третьем мы направили его прямо на страницу с описанием продукта с помощью кнопки покупки.

К моему удивлению, победил третий вариант. Это всего лишь информация, необходимая покупателю о товаре. Это позволяет нам узнать, как рост коэффициента конверсии и постоянные улучшения могут заставить нас привлекать потенциальных клиентов.

Несомненно, добавление множества вариаций и идей по тестам привело к редизайну сайта.

Понимание результатов

Позвольте мне прояснить это. НЕ ВСЕ ТЕСТЫ ВЫИГРЫВАЮТ. Да, это болезненно, но правда.

Есть тесты, которые дают отличные результаты. Есть и другие, которые после стольких попыток тоже окажутся безрезультатными. Но если вы планируете тест с проницательной сегментацией, у вас может появиться новая гипотеза для проверки. Не все тесты помогают увеличить доход.

Чтобы понять, возьмем пример. Есть три кампании с разными коэффициентами конверсии.

Кампания А	8,2%
Кампания Б	19,1%
Кампания C	5,2%

Любой слепо скажет, что «Кампания Б» - супер исполнитель. Но давайте копнем еще немного.

	Посещения	Сделки	Коэффициент конверсии
Кампания А	1820 г.	150	8,2%
Кампания Б	20	4	19,1%
Кампания C	780	41 год	5,2%

Обратите внимание: «Кампания Б» слишком мала, чтобы быть статистически значимой. Кампания B с 1 транзакцией и одним посещением даст 100% конверсию. «Кампания A» эффективнее «Кампании C». Подводя итоги, необходимо учитывать несколько факторов, которые каждый раз могут отличаться. Именно вам необходимо проанализировать все выводы и принять решение о результатах.