静的ユーザー数によるA / Bテストのユーザビリティ
A / Bテストは初めてですが、質問はほとんどありません。
新しいユーザーがいない情報システムをテストする状況なので、ユーザー数はほぼ一定です。システムには、ユーザーが入力している大きなフォームがあります。コンバージョン率などは測定しません。目的はこのフォームの完了時間を測定することであり、目標はフォームを改善することであるため、ユーザーがフォームに入力するのにかかる時間が短縮されます。
このフォームに1回入力するユーザーもいれば、1日に複数回入力するユーザーもいます。
質問
- フォーム数（入力されたフォームの数がほぼ等しい）またはユーザー数（各グループのユーザー数がほぼ等しい）に基づいて、ユーザーを半分に分割しますか？
- 1人のユーザーが複数のフォームに入力できるにもかかわらず、各フォームの入力を（ユーザーではなく）1つの「インスタンス」と見なすことができますか？
- 統計的に有意な結果を得るためにテストを実行する必要がある時間を計算するにはどうすればよいですか？
たとえば、サンプルサイズ計算機を見つけました（https://www.surveysystem.com/sscalc.htm）、次のようなデータを入力します
。-信頼水準：95％-
信頼区間：5
、出力として384を取得します。384は各バリアントのフォーム補完の数ですか？
たとえば、1日に平均70件のフォームの記入があります。それは私が11日間テストを実行しなければならないことを意味しますか？（計算は次のとおりです:(384/70 * 2AとBのバリアントがあるため2を掛けます））または、丸1週間（この場合は14日）に切り上げる必要がありますか？
私の質問が非常に単純であるならば、私は謝罪します。私はA / Bテストについてよく読んでいますが、通常はコンバージョン率があり、自分の状況に適用できないようです。
回答
あなたは正しい方向に進んでいますが、計画すべきことがいくつかあります。
始める前に管理措置をとるようにしてください。これらは、ユーザーのセグメント化、完了時間の分類に非常に役立ち、A / Bテストが不可能な場合、または悪影響がある場合のバックアップとして適しています。これにより、すでに完了時間にどの程度の差異があるかがわかり、知る必要のある傾向や相関関係が示される場合があります。（80/20の法則では、完了の80％はおそらくユーザーの20％からのものであるとされています。それらは最も速い時間ですか、それとも最も遅いですか？すべてが1つの曜日に発生しますか？月曜日の時間は金曜日の時間と異なりますか？等。）
フォームの完成をユーザーではなく測定単位として考えることは良い考えですが、複数回切り替えるとバイアスが増えるため、各ユーザーがフォームの1つのバージョンのみを取得するようにする必要があります。あまりにも多くのユーザーに影響を与えることを心配している場合は、2つのオーディエンスが同じである必要はありません。ユーザーの10％のサンプル（できれば完了の10％を実行）で結果を得ることができます。時間がかかりますが、影響を受けるユーザーは少なくなります。
サンプルサイズの計算は、ランダムサンプルが母集団全体にどれだけ一致するかを判断するためのものです。ユーザーのランダムなサンプルをグループBとして選択する場合、サンプルサイズ計算機は、ユーザーが全体を表していることを確信するために必要な数を示します。（1000人のユーザーがいる場合、データがグループ全体の5％以内に収まるように95％確実にするために、グループBに入る必要があるのは278人だけです。10％以内に収まる場合は88人だけが必要です。完了時間。）
テスト自体の成功を測定するには、次のような統計的有意性計算機が必要です。 https://www.surveymonkey.com/mp/ab-testing-significance-calculator/
ただし、統計的有意性は、タイミングではなく、離散イベント（つまり、変換）のみを測定します。そこで、制御データが登場します。以前の中央値（またはデータが歪んでいる場合は平均）の完了時間が60秒だった場合、正常な変換を59秒以下と定義できます。次に、それらの数値を計算に入れて、さらにテストが必要かどうかを確認できます。コンバージョン率が大きく異なると、すぐに重要性に達することができますが、コンバージョン率が近いほど、勝者を宣言する前に実行させる必要があります。変更によってフォームが2倍速くなると、すぐにわかりますが、5％の減少を検出するには、長時間測定する必要があります。
A / Bテストでは、どちらのバージョンが速いかだけがわかり、どのユーザーがより良いか、エラー率などはわかりません。自分自身をはるかに高速な形式に最適化することもできますが、タイプミスやその他の間違いのために、より多くの不良データが収集されることになります。
私は率直に話します。自分でA / Bテストを行ったことがないので、コミュニティが適切だと感じたときに賛成または反対の提案をここに追加しますが、概念的にはその使用方法を理解していると感じています。
これを適用する方法については、正しい方向に進んでいると思います。理想的には、ユーザーベースを分割して、一部のユーザーが一貫してバージョンAを表示し、一部のユーザーが一貫してバージョンBを表示するようにします。特定のユーザーが、あるインスタンスで1つのバージョンを表示し、次のインスタンスで別のバージョンを表示することを望まない場合があります。 。
あなたが言及したように、この場合のあなたの目標は、コンバージョン率（つまり、特定のアクションを実行することを選択したユーザーの数）を測定することではなく、アクションを実行する効率を測定することです。したがって、あなたの場合、フォームの完了時間の測定がおそらくこれのより良い指標の1つであるという点で正しいです。フォームが正しく入力されていることを何らかの方法で確認できる場合（たとえば、ユーザーが提出物を修正または修正したり、サポートリクエストをフォローアップしたりしていない場合）、それは収集を試みるもう1つの意味のあるデータポイントになる可能性があります。
ユーザーがフォームを操作する方法に意味のある違いがあることを確認しました。1日に複数回使用する人もいれば（「頻繁なユーザー」と呼びます）、あまり使用しない人もいます（「不定期のユーザー」）。
すでに示唆したように、フォームの各バージョンを頻繁に表示するユーザーと不定期のユーザーが混在するようにユーザーを分割することをお勧めします。そうすれば、バージョンが各タイプに与える影響の違いに気付くことができるかもしれません。ユーザー。
あなたの統計計算も合理的に聞こえます：2週間はあなたの発見を利用し始めるのに十分な時間のようです。これにより、各バージョンを表示するユーザーは、自分のバージョンに慣れ、フォームのバージョンを完了するのにかかる時間に「落ち着く」ことができます。
2週間の終わりに、分析を実行して、一方の平均完了時間が他方よりも短いかどうかを確認し、それらの結果をさまざまな次元で分類できます。ユーザーのタイプ（フォームがより適切に機能するかどうかを確認するため）フォームに導入されてからの時間（新しいバージョンに慣れた後に人々が改善したかどうかを確認するため）、または完了エラー率（該当する場合）、より熟練したユーザー、またはたまにしか使用しないユーザーにとってはおそらくより単純なユーザー1つのバージョンが他のバージョンよりもエラーを防止したかどうかを確認してください）。