A / B-тестирование - как это работает
Вы можете отслеживать действия посетителя, используя статистику и анализ, чтобы определить версию, которая дает более высокий коэффициент конверсии. Результаты A / B-тестирования обычно выдают в нарядном виде.mathematical and statistical terms, но смысл цифр на самом деле довольно прост. Есть два важных метода, с помощью которых вы можете проверить коэффициенты конверсии с помощью A / B-тестирования:
- Выборка данных
- Доверительные интервалы
Обсудим эти два метода подробно.
Выборка данных
Количество образцов зависит от количества выполненных тестов. Подсчет коэффициента конверсии называется выборкой, а процесс сбора этих выборок называется выборкой.
пример
Допустим, у вас есть два продукта A и B, и вы хотите собрать образцы данных в соответствии с их спросом на рынке. Вы можете попросить несколько человек выбрать один из продуктов A и B, а затем попросить их принять участие в опросе. По мере увеличения числа участников он начнет показыватьrealistic conversion rate.
Существуют различные инструменты, которые можно использовать для определения правильного размера выборки. Один из таких бесплатных инструментов -
http://www.evanmiller.org
Доверительные интервалы в A / B-тестировании
Доверительный интервал - это измерение отклонения от среднего на множестве выборок. Предположим, что 22% людей предпочитают продукт А в приведенном выше примере с ± 2% доверительного интервала. Этот интервал указывает верхний и нижний предел людей, которые выбирают продукт A, и также называется пределом погрешности. Для получения наилучших результатов в этом среднем опросе,the margin of error should be as small as possible.
пример
Предположим, что в продукт B мы добавили незначительные изменения, а затем выполнили A / B-тестирование этих двух продуктов. Произведение доверительного интервала A и B составляет 10% с ± 1% и 20% с ± 2% соответственно. Таким образом, это показывает, что небольшое изменение повысило коэффициент конверсии. Если мы проигнорируем погрешность, коэффициент конверсии для тестового варианта A составит 10%, а коэффициент конверсии для тестового варианта B - 20%, т. Е. Увеличение тестового варианта на 10%.
Теперь, если мы разделим разницу на коэффициент изменения управления 10% ÷ 10% = 1,0 = 100%, получится улучшение на 100%. Следовательно, мы можем сказать, что A / B-тестирование - это метод, основанный на математических методах и анализе. Существуют различные онлайн-инструменты, которые можно использовать для расчета значимости A / B.
http://getdatadriven.com
