A / B 테스트 – 면접 질문

A / B 테스팅으로 무엇을 이해하고 있습니까? A / B 테스트 수행의 목표는 무엇입니까?

A / B 테스트 (분할 테스트라고도 함)는 compare two versions어떤 것이 더 나은지 결정할 수있는 응용 프로그램 또는 웹 페이지의. A / B 테스트는 응용 프로그램이나 웹 페이지를 수정하여 새 버전을 만든 다음 두 버전을 비교하여 전환율을 찾을 수있는 가장 쉬운 방법 중 하나입니다. 이것은 또한 우리에게 알려줍니다.better performer 둘 중.

A / B 테스트에서 데이터 샘플링을 통해 무엇을 이해하고 있습니까?

샘플 수는 수행 된 테스트 수에 따라 다릅니다. 그만큼count of conversion rate 이를 샘플이라고하며 이러한 샘플을 수집하는 과정을 샘플링이라고합니다.

A / B 테스트에서 신뢰 구간을 사용하는 방법은 무엇입니까?

신뢰 구간은 measurement of deviation여러 샘플의 평균에서. 22 %의 사람들이 신뢰 구간의 +/- 2 %로 제품 A를 선호한다고 가정 해 보겠습니다. 이 간격은upper and lower limit 제품 A를 선택하고 margin of error. 이 평균 설문 조사에서 최상의 결과를 얻으려면 오차 범위가 가능한 한 작아야합니다.

A / B 테스트를 언제 수행해야합니까?

가능성이있는 경우 항상 A / B 테스트를 수행하십시오. beat the original variation by> 5 %. 테스트는 상당한 시간 동안 실행되어야하므로 충분한 샘플 데이터가 있어야합니다.perform statistics and analysis. A / B 테스트를 통해 웹 페이지의 기존 트래픽을 최대한 활용할 수도 있습니다.

전환을 늘리는 비용은 웹 사이트에서 트래픽을 설정하는 비용에 비해 최소화됩니다. 그만큼ROI (return on investment) on A / B Testing은 웹 사이트에서 약간의 사소한 변경으로 인해 전환율이 크게 증가 할 수 있기 때문에 엄청납니다.

다 변수 테스트 란 무엇이며 A / B 테스트와 어떻게 다른가요?

A / B 테스트와 마찬가지로 다 변수 테스트는 동일한 메커니즘을 기반으로하지만 compares higher number of variables, 이러한 변수의 작동 방식에 대한 자세한 정보를 제공합니다. A / B 테스트에서는 페이지의 트래픽을 여러 버전의 디자인간에 분할합니다. 다 변수 테스트는effectiveness of each design.

몇 개의 변수를 테스트해야합니까?

한 번에 여러 변수를 테스트 할 때의 문제는 tough to accurately determine이 변수 중 어떤 것이 차이를 만들 었는지. 한 페이지가 다른 페이지보다 더 잘 수행되었다고 말할 수 있지만, 각각에 3 개 또는 4 개의 변수가있는 경우 해당 변수 중 하나가 실제로 페이지에 해를 끼치는 이유를 확신 할 수 없으며good elements 다른 페이지에서.

웹 페이지에 적용 할 수있는 몇 가지 변형이 있습니까?

다음은 웹 페이지에 적용 할 수있는 몇 가지 A / B 테스트 변형입니다. 목록에는 다음이 포함됩니다.-헤드 라인, 하위 헤드 라인, 이미지, 텍스트, CTA 텍스트 및 버튼, 링크, 배지, 미디어 언급, 소셜 언급, 판매 프로모션 및 제안, 가격 구조, 배송 옵션, 지불 옵션, 사이트 탐색 및 사용자 인터페이스.

A / B 테스트를위한 단계별 프로세스를 설명하십시오.

Background Research − A / B 테스트의 첫 번째 단계는 bounce rate귀하의 웹 사이트에서. 이는 Google Analytics와 같은 도구를 사용하여 수행 할 수 있습니다.
Collect Data − Google Analytics의 데이터는 visitor behaviors. 항상 사이트에서 충분한 데이터를 수집하는 것이 좋습니다. 개선 할 수있는 전환율이 낮거나 이탈률이 높은 페이지를 찾으십시오.
Set Business Goals− 다음 단계는 전환 목표를 설정하는 것입니다. 찾기metrics that determines 변형이 원래 버전보다 더 성공적인지 여부.
Construct Hypothesis− A / B 테스트에 대한 목표와 측정 기준이 설정되면 다음은 원래 버전을 개선하기위한 아이디어와 현재 버전보다 더 나은 방법을 찾는 것입니다. 일단 당신이list of ideas, prioritize them 예상되는 영향과 구현의 어려움 측면에서.
Create Variations/Hypothesis − 시장에는 A / B 테스트 도구가 많이 있습니다. visual editor이러한 변경을 효과적으로 수행 할 수 있습니다. A / B 테스트를 성공적으로 수행하기위한 주요 결정은correct tool.
Running the Variations − 웹 사이트 또는 앱의 모든 변형을 방문자에게 제시하고 각 변형에 대해 방문자의 행동을 모니터링합니다. Visitor interaction 각 변동에 대해 측정 및 비교하여 해당 변동의 성능을 결정합니다.
Analyze Data − 실험이 완료되면 다음은 analyze the results. A / B 테스트 도구는 실험 데이터를 표시하고 웹 페이지의 다양한 변형이 수행되는 방식의 차이를 알려줍니다. 또한 수학적 방법과 통계의 도움으로 변형 사이에 중요한 차이가있는 경우.

A / B 테스트를 위해 데이터를 수집하는 데 사용할 수있는 일반적인 도구 유형은 무엇입니까?

가장 일반적인 유형의 데이터 수집 도구에는 분석 도구, 재생 도구, 설문 조사 도구, 채팅 및 이메일 도구가 포함됩니다.

재생 도구를 사용하는 목적은 무엇입니까? A / B 테스트를위한 몇 가지 재생 도구의 이름을 지정하십시오.

재생 도구는 웹 사이트에서 사용자 작업을 더 잘 파악하는 데 사용됩니다. 또한 다음을 수행 할 수 있습니다.click maps and heat maps of user click사용자가 웹 사이트에서 얼마나 멀리 브라우징하는지 확인합니다. Mouse Flow와 같은 재생 도구를 사용하면view a visitor's session 방문자와 함께있는 방식으로.

비디오 재생 도구는 방문자가 웹 사이트의 다양한 페이지를 탐색하는 것이 어떤 것인지에 대한 심층적 인 통찰력을 제공합니다. 가장 일반적으로 사용되는 도구는 다음과 같습니다.Mouse Flow and Crazyegg.

설문 조사 도구를 사용하는 이유는 무엇입니까? 데이터 수집을위한 설문 조사의 예를 제공하십시오.

설문 조사 도구는 collect qualitative feedback웹 사이트에서. 여기에는 재 방문자에게 몇 가지 설문 조사 질문이 포함됩니다. 설문 조사에서는 일반적인 질문을하고 자신의 견해를 입력하거나 미리 제공된 선택 사항 중에서 선택할 수 있습니다.

A / B 테스트에서 가설을 생성하는 몇 가지 예를 제공 하시겠습니까?

이탈률을 다음과 같이 줄일 수 있습니다. adding more images하단에. 전환율을 더욱 높이기 위해 소셜 사이트의 링크를 추가 할 수 있습니다.

A / B 테스트에서 변형을 만들어서 무엇을 이해합니까? 이를 위해 사용할 수있는 일반적인 도구는 무엇입니까?

글 머리 기호 사용, 주요 요소의 번호 변경, 글꼴 및 색상 변경 등과 같이 개체에 적용 할 수있는 다양한 유형의 변형이 있습니다. 시장에는 시각적 편집기가있는 많은 A / B 테스트 도구가 있습니다. 이러한 변화는 효과적으로 이루어집니다. A / B 테스트를 성공적으로 수행하기위한 주요 결정은 다음과 같습니다.selecting the correct tool.

가장 일반적으로 사용되는 도구는 Visual Website Optimizer, Google Content Experiments 및 Optimizely입니다.

VWO의 WYSIWYG 편집기는 무엇입니까? 그것을 사용하여 어떻게 변형을 만드나요?

Visual Website Optimizer 또는 VWO를 사용하면 test multiple versions같은 페이지의. 또한 'What you see is what you get'(WYSIWYG) 편집기를 사용하여make the changes and run tests페이지의 HTML 코드를 변경하지 않고 IT 리소스를 변경하지 않고도 헤드 라인, 요소 번호를 업데이트하고 테스트를 실행할 수 있습니다.

A / B 테스트를 위해 VWO에서 변형을 만들려면 WYSIWYG 편집기에서 웹 페이지를 열고 모든 웹 페이지에 많은 변경 사항을 적용 할 수 있습니다. 여기에는 텍스트 변경, URL 변경, HTML 편집 / 편집, 재 배열 및 이동이 포함됩니다.

VWO를 사용하여 수행 할 수있는 다른 유형의 테스트는 무엇입니까?

또한 Visual Website Optimizer는 다 변수 테스트 옵션을 제공하며 행동 타겟팅, 히트 맵, 사용성 테스트 등을 수행하기위한 기타 여러 도구를 포함합니다.

웹 페이지 이외의 다른 곳에서 A / B 테스트를 사용할 수 있습니까?

이러한 테스트는 이메일, 모바일 앱, PPC 및 CTA와 같은 여러 다른 위치에서도 적용 할 수 있습니다.

A / B 테스트-결과 분석을 통해 무엇을 이해하고 있습니까?

실험이 완료되면 next is to analyze the results. A / B 테스트 도구는 실험 데이터를 표시하고 해당 웹 페이지의 다양한 유사 콘텐츠가 수행되는 방식의 차이를 알려줍니다. 또한 수학적 방법과 통계를 사용한 변형 사이에 중요한 차이가 있는지도 보여줍니다.

Google Analytics를 Optimizely와 어떻게 통합합니까?

Optimizely를 유니버설 Google 애널리틱스에 통합하려면 먼저 측면 패널에서 사용 버튼을 선택하세요. 그렇다면 당신은available Custom to populate with Optimizely experiment data.

유니버설 Google 웹 로그 분석 추적 코드는 페이지의 <head> 섹션 하단에 삽입해야합니다. Optimizely 스 니펫이 Analytics 스 니펫 위에 있지 않으면 Google 웹 로그 분석 통합이 제대로 작동하지 않습니다.

범용 GA와 기본 Google 웹 로그 분석의 차이점은 무엇입니까?

Google 애널리틱스에는 데이터 분석을위한 두 가지 옵션, 즉 유니버설 애널리틱스와 기본 Google 애널리틱스가 있습니다. 새로운 유니버설 애널리틱스 기능을 사용하면 Google 애널리틱스로 데이터를 전송하는 20 개의 동시 A / B 테스트를 사용할 수 있지만 기본 버전에서는 최대 5 개만 허용됩니다.

A / B 테스트가 SEO에 부정적인 영향을 줍니까? 잠재적 인 SEO 가치를 잃어 버릴 염려없이 A / B 테스트를 실행할 수있는 다양한 방법을 설명 하시겠습니까?

이것은 A / B 테스트가 중복 콘텐츠로 분류 될 수 있기 때문에 검색 엔진 순위를 떨어 뜨린다는 신화입니다. A / B 테스트를 실행하는 동안 잠재적 인 SEO 가치를 잃지 않도록 다음 네 가지 방법을 적용 할 수 있습니다.

Don’t Cloak − 클로킹은 웹 페이지의 한 버전을 Googlebot 에이전트에 표시하고 다른 버전을 웹 사이트 방문자에게 표시하는 것입니다.

Use ‘rel=canonical’− 여러 URL이 포함 된 A / B 테스트가있는 경우 웹 페이지에 'rel = canonical'을 추가하여 색인을 생성 할 URL을 Google에 표시 할 수 있습니다. Google은 의도에 더 부합하므로 NOINDEX 태그가 아닌 표준 요소를 사용할 것을 제안합니다.

Use 302 redirects and not 301’s − Google은 영구 301 리디렉션에 대한 302 임시 방향 방법을 사용하는 것이 좋습니다.

Don’t run experiments for a longer period of time − A / B 테스트가 완료되면 가능한 한 빨리 변형을 제거하고 웹 페이지를 변경 한 후 성공적인 전환을 사용하기 시작해야합니다.