A / B-тестирование юзабилити со статическим подсчетом пользователей
Я новичок в A / B-тестировании, и у меня есть несколько вопросов.
В этой ситуации
я бы тестировал информационную систему без новых пользователей, поэтому количество пользователей более или менее постоянно. В системе есть большая форма, которую заполняют пользователи. Я не буду измерять конверсию или что-то в этом роде. Цель состоит в том, чтобы измерить время заполнения этой формы, и цель - улучшить форму, чтобы пользователям было меньше времени на ее заполнение.
Некоторые пользователи могут заполнять эту форму раз в месяц, а некоторые - несколько раз в день.
Вопросы
- Могу ли я разделить пользователей пополам на основе количества форм (чтобы количество заполненных форм было примерно одинаковым) или на основе количества пользователей (чтобы в каждой группе было примерно одинаковое количество пользователей)?
- Могу ли я рассматривать заполнение каждой формы как один «экземпляр» (а не пользователей), несмотря на то, что один пользователь может заполнять несколько форм?
- Как рассчитать, как долго мне нужно запускать тест, чтобы получить статистически значимые результаты?
Например, я нашел калькулятор размера выборки (https://www.surveysystem.com/sscalc.htm), и я ввожу такие данные:
-Уровень уверенности: 95%
-Интервал уверенности: 5
и в качестве результата я получаю 384. Является ли 384 количеством заполненных форм для каждого варианта?
Скажем, в день в среднем заполняется 70 анкет. Означает ли это, что мне нужно проводить тест в течение 11 дней? (Расчет:384/70 * 2(умножается на 2, так как есть варианты A и B)) Или мне следует округлить до полных недель (в данном случае 14 дней)?
Прошу прощения, если мои вопросы очень простые. Я довольно много читал об A / B-тестировании, но обычно есть коэффициенты конверсии, и я не могу применить это к моей ситуации.
Ответы
Вы на правильном пути, но есть кое-что, что нужно спланировать.
Постарайтесь принять меры контроля, прежде чем начать. Они будут иметь неоценимое значение для сегментирования ваших пользователей, классификации времени выполнения и будут хорошей резервной копией, если A / B-тестирование невозможно или имеет негативное влияние. Это позволит вам узнать, какая разница во времени выполнения у вас уже есть, и может указать на тенденции или корреляции, которые вам необходимо знать. (Правило 80/20 гласит, что 80% ваших завершений, вероятно, исходят от 20% ваших пользователей. Это самое быстрое или самое медленное время? Все ли они происходят в один день недели? Разве понедельник отличается от времени пятницы? И т.д.)
Думать о заполнении формы как о единицах, которые вы измеряете, а не о пользователях, - это хорошая идея, но вы должны убедиться, что каждый пользователь получает только одну версию формы, поскольку многократное переключение приведет к большему смещению. Если вы беспокоитесь о том, чтобы повлиять на слишком много пользователей, эти две аудитории не должны быть равными. Выборка из 10% ваших пользователей (которые, надеюсь, выполняют 10% ваших завершений) может дать вам результаты. Это займет больше времени, но повлияет на меньшее количество пользователей.
Расчеты размера выборки предназначены для оценки того, насколько точно случайная выборка будет соответствовать всей генеральной совокупности. Если вы хотите выбрать случайную выборку пользователей в группу B, калькулятор размера выборки подскажет, сколько вам нужно, чтобы быть уверенным, что они представляют собой целое. (Если у вас 1000 пользователей, вам нужно только 278, чтобы быть в группе B, чтобы быть уверенным на 95%, что их данные будут в пределах 5% от всей группы. Вам нужно только 88, если они могут быть в пределах 10%. Это может быть нормально для время завершения.)
Для измерения успешности самого теста вам понадобится калькулятор статистической значимости, подобный этому: https://www.surveymonkey.com/mp/ab-testing-significance-calculator/
Однако статистическая значимость измеряет только дискретные события (т. Е. Конверсии), а не время. Вот где появляются контрольные данные. Если предыдущее медианное (или среднее, если данные искажены) время завершения составляло 60 секунд, вы можете определить успешное преобразование как 59 секунд или меньше. Затем вы можете ввести эти числа в расчет и посмотреть, нужны ли вам дополнительные тесты. Коэффициенты конверсии, сильно отличающиеся друг от друга, смогут быстро достичь значимости, но чем они ближе, тем дольше вам придется позволить им работать, прежде чем вы объявите победителя. Если ваше изменение делает форму вдвое быстрее, вы это быстро увидите, но вам придется долго проводить измерения, чтобы обнаружить 5% -ное уменьшение.
Обратите внимание, что A / B-тестирование покажет вам только, какая версия работает быстрее, а не то, что пользователям больше нравится, или их процент ошибок или другие вещи. Вы можете оптимизировать себя до формы, которая будет работать намного быстрее, но в результате будет собираться намного больше неверных данных из-за опечаток или других ошибок.
Я буду откровенен: я никогда не проводил A / B-тестирование, поэтому я добавлю сюда свои предложения, чтобы их проголосовали за или против, если сообщество сочтет это целесообразным, однако я чувствую, что концептуально понимаю, как это используется.
Я думаю, вы на правильном пути в том, как это применять . В идеале вы бы разделили свою базу пользователей так, чтобы некоторые пользователи постоянно видели версию A, а некоторые постоянно видели версию B. Вы не хотите, чтобы данный пользователь иногда видел одну версию в одном экземпляре, а затем другую версию для следующего экземпляра. .
Как вы упомянули, ваша цель в этом случае - не измерение коэффициента конверсии (то есть количества пользователей, решивших совершить определенное действие), а скорее эффективность, с которой они выполняют это действие. Итак, в вашем случае вы правы в том, что измерение времени заполнения формы, вероятно, является одним из лучших индикаторов этого. Если вы каким-то образом можете проверить, что формы заполняются правильно (например, пользователи не возвращаются, чтобы исправить или изменить свои представления, или не отвечают запросам поддержки), то это может быть еще одна важная точка данных, которую стоит попытаться собрать.
Вы определили значимые различия в том, как ваши пользователи взаимодействуют с формой - некоторые используют ее несколько раз в день (называют этих «частых пользователей»), а другие - гораздо реже («случайные пользователи»).
Как вы уже намекали, я считаю разумным разделить пользователей таким образом, чтобы у вас было сочетание постоянных и случайных пользователей, просматривающих каждую версию формы, чтобы вы могли заметить различия в том, как версия влияет на каждый тип формы. пользователь.
Ваши статистические расчеты тоже кажутся разумными: двух недель кажется достаточным количеством времени, чтобы начать делать выводы. Это также дает вашим пользователям, которые видят каждую версию, ознакомиться со своими версиями и «привыкнуть» к тому, сколько времени у них теперь уходит на заполнение своей версии формы.
По истечении двух недель вы можете запустить свой анализ, чтобы попытаться определить, было ли у одного из них более низкое среднее время выполнения, чем у другого, и разбить эти результаты по различным параметрам: типу пользователя (чтобы увидеть, работает ли форма лучше для пользователи, которые гораздо более опытны или, возможно, проще для пользователей, которые используют его только изредка), время с момента введения в форму (чтобы увидеть, улучшились ли люди после привыкания к новым версиям) или частота ошибок завершения (если применимо, чтобы посмотрите, предотвращает ли одна версия ошибки лучше, чем другая).