정적 사용자 수로 A / B 테스트 유용성
저는 A / B 테스트를 처음 접했고 질문이 거의 없습니다.
새로운 사용자가없는 정보 시스템을 테스트하는 상황 이므로 사용자 수는 다소 일정합니다. 시스템에는 사용자가 채우는 큰 양식이 있습니다. 전환율 등을 측정하지 않을 것입니다. 목표는이 양식의 완료 시간을 측정하는 것이며 목표는 양식을 개선하는 것이므로 사용자가 양식을 작성하는 데 걸리는 시간이 줄어 듭니다.
일부 사용자는이 양식을 나방에 한 번 작성하고 일부 사용자는 하루에 여러 번 작성할 수 있습니다.
질문
- 양식 수를 기준으로 사용자를 절반으로 나눕니 까 (채워진 양식의 수가 거의 같음) 또는 사용자 수를 기준으로 (각 그룹의 사용자 수가 거의 같음)?
- 한 사용자가 여러 양식을 채울 수 있다는 사실에도 불구하고 각 양식 완성을 사용자가 아닌 하나의 "인스턴스"로 볼 수 있습니까?
- 통계적으로 유의미한 결과를 얻으려면 테스트를 얼마나 오래 실행해야하나요?
예를 들어 샘플 크기 계산기 (https://www.surveysystem.com/sscalc.htm) 그리고 다음과 같은 데이터를 입력합니다.
-Confidence Level : 95 %
-Confidence Interval : 5
그리고 출력으로 384를 얻습니다. 384는 각 변형의 양식 완성 횟수입니까?
하루 평균 70 개의 양식 완성이 있다고 가정 해 보겠습니다. 11 일 동안 테스트를 실행해야한다는 의미입니까? (계산 :384/70 * 2(A 및 B 변형이 있으므로 2를 곱함)) 아니면 전체 주 (이 경우 14 일)로 반올림해야합니까?
제 질문이 매우 간단하다면 사과드립니다. A / B 테스트에 대해 많이 읽었지만 일반적으로 전환율이있어서 제 상황에 적용 할 수없는 것 같습니다.
답변
당신은 올바른 길을 가고 있지만 계획해야 할 몇 가지가 있습니다.
시작하기 전에 통제 조치를 취하십시오. 이는 사용자를 세분화하고 완료 시간을 분류하는 데 매우 유용하며 A / B 테스트가 불가능하거나 부정적인 영향을 미치는 경우 좋은 백업이됩니다. 이를 통해 이미 완료 시간에 얼마나 많은 차이가 있는지 알 수 있으며 알아야 할 추세 또는 상관 관계를 나타낼 수 있습니다. (80/20 규칙에 따르면 완료의 80 %는 사용자의 20 %에서 올 수 있습니다. 가장 빠른 시간입니까, 가장 느린 시간입니까? 모두 일주일 중 하루에 발생합니까? 월요일 시간이 금요일과 다른가요? 기타.)
양식 완성을 사용자가 아닌 측정하는 단위로 생각하는 것이 좋지만 여러 번 전환하면 더 많은 편향이 발생하므로 각 사용자가 양식의 한 버전 만 가져 오도록하는 것이 좋습니다. 너무 많은 사용자에게 영향을 미치는 것이 걱정된다면 두 대상이 동일 할 필요는 없습니다. 10 %의 사용자 샘플 (완료의 10 %를 수행)이 결과를 제공 할 수 있습니다. 더 오래 걸리지 만 더 적은 사용자에게 영향을 미칩니다.
표본 크기 계산은 무작위 표본이 전체 모집단과 얼마나 가깝게 일치하는지 판단하기위한 것입니다. 사용자의 무작위 샘플을 그룹 B로 선택하려면 샘플 크기 계산기가 전체를 대표한다고 확신하는 데 필요한 수를 알려줍니다. (1000 명의 사용자가있는 경우 데이터가 전체 그룹의 5 % 내에있을 것이라고 95 % 확신하려면 그룹 B에 278 명만 있으면됩니다. 10 % 내에있을 수있는 경우에만 88 명이 필요합니다. 완료 시간.)
테스트 자체의 성공을 측정하려면 다음과 같은 통계적 유의성 계산기가 필요합니다. https://www.surveymonkey.com/mp/ab-testing-significance-calculator/
그러나 통계적 유의성은 타이밍이 아닌 개별 이벤트 (예 : 전환) 만 측정합니다. 제어 데이터가 들어오는 곳입니다. 이전 중앙값 (또는 데이터가 왜곡 된 경우 평균) 완료 시간이 60 초인 경우 성공적인 변환을 59 초 이하로 정의 할 수 있습니다. 그런 다음 그 숫자를 계산에 넣고 더 많은 테스트가 필요한지 확인할 수 있습니다. 서로 매우 다른 전환율은 빠르게 중요성에 도달 할 수 있지만, 더 가까울수록 승자를 선언하기 전에 더 오래 실행해야합니다. 변경 사항이 양식을 두 배 빠르게 만들면 빠르게 확인할 수 있지만 5 % 감소를 감지하려면 오랜 시간 동안 측정해야합니다.
A / B 테스트는 어떤 버전이 더 빠른지 알려줄뿐 사용자가 더 좋아하는 버전이나 오류율 또는 기타 사항을 알려주지 않습니다. 훨씬 빠르지 만 오타 나 기타 실수로 인해 더 많은 잘못된 데이터가 수집되는 형태로 자신을 최적화 할 수 있습니다.
나는 솔직 할 것입니다. 저는 A / B 테스트를 직접 수행 한 적이 없으므로 커뮤니티가 적절하다고 생각할 때 여기에 찬성 또는 반대 투표에 대한 제 제안을 추가 할 것입니다. 그러나 그것이 어떻게 사용되는지 개념적으로 이해하고 있다고 느낍니다.
나는 이것을 적용하는 방법에 당신이 올바른 길을 가고 있다고 생각합니다 . 일부 사용자는 일관되게 버전 A를보고 일부는 일관되게 버전 B를 볼 수 있도록 사용자 기반을 나누는 것이 이상적입니다. 특정 사용자가 한 인스턴스에서 때때로 한 버전을보고 다음 인스턴스에서는 다른 버전을 보는 것을 원하지 않을 것입니다. .
앞서 언급했듯이이 경우 목표는 전환율 (즉, 특정 작업을 수행하기 위해 선택한 사용자 수)을 측정하는 것이 아니라 해당 작업을 수행하는 효율성을 측정하는 것입니다. 따라서 귀하의 경우 양식 완료 시간을 측정하는 것이 아마도 이것에 대한 더 나은 지표 중 하나라는 점에서 정확합니다. 양식이 올바르게 작성되었는지 확인할 수있는 경우 (예 : 사용자가 제출을 수정하거나 수정하거나 지원 요청을 추적하지 않는 경우) 이는 시도하고 수집 할 또 다른 의미있는 데이터 포인트가 될 수 있습니다.
사용자가 양식과 상호 작용하는 방식에서 의미있는 차이를 확인했습니다. 일부는 하루에 여러 번 사용하고 ( "빈번한 사용자"라고 함) 다른 사용자는 훨씬 적게 사용합니다 ( "비정기 사용자").
이미 암시했듯이, 자주 사용하는 사용자와 양식의 각 버전을 보는 비정기 사용자가 혼합되도록 사용자를 나누는 것이 현명하다고 생각합니다. 따라서 버전이 각 유형에 미치는 영향의 차이를 알아 차릴 수 있습니다. 사용자.
통계 계산도 합리적으로 들립니다. 2 주가 결과를 도출하기에 충분한 시간 인 것 같습니다. 이렇게하면 각 버전을 보는 사용자가 자신의 버전에 익숙해지고 양식의 버전을 완료하는 데 걸리는 시간을 "정착"할 수 있습니다.
2 주가 끝나면 분석을 실행하여 하나의 평균 완료 시간이 다른 것보다 더 낮은 지 확인하고 이러한 결과를 다른 차원 (사용자 유형)으로 분류하여 분석 할 수 있습니다. 훨씬 더 능숙하거나 가끔 사용하는 사용자에게는 더 간단한 사용자), 양식을 도입 한 이후 (새 버전에 익숙해 진 후 사람들이 개선되었는지 확인하기 위해) 시간 또는 완료 오류율 (해당되는 경우) 한 버전이 다른 버전보다 오류를 더 잘 방지하는지 확인하십시오).