A/B 테스트의 모험

12년 전 오늘 저는 Game Developers Conference에서 SpryFox CEO David Edery와 A/B 테스트 및 모바일 게임에 대해 이야기했습니다.

청중을 나누고 청중 A에게 한 가지를 보여주고 청중 B는 다른 것을 보는 A/B 테스트는 2011/2012년 게임 업계에서 여전히 꽤 새로운 것이었습니다. 그 시점까지 이를 수행하는 유일한 방법은 잠재 고객을 대상으로 마케팅 설문 조사를 실시하는 것이었습니다.

많은 것들과 마찬가지로 Facebook, Google 및 Apple은 게임 산업의 판도를 바꿔 놓았습니다. 2011년까지 그들 각각은 정통한 마케팅 담당자가 한 번에 두 개의 캠페인을 실행하여 사람들이 버튼을 클릭하도록 유도하는 방법을 알아낸 광고 표면을 갖게 되었습니다. 그해 GDC에서 David와 이야기를 나누던 무렵, Facebook과 Apple은 이를 개발자가 소셜 게임에 사용할 수 있는 실제 도구와 서비스로 전환했습니다.

David와 나는 모든 것의 도덕성에 대해 많은 이야기를 나눴습니다. 청중을 나누고 그들 모두에게 동일한 경험을 제공 하지 않을 것이라고 생각하는 것이 얼마나 이상했습니다.

오늘날 A/B 테스트는 게임뿐만 아니라 인터넷에서 무언가를 판매하려는 모든 사람에게 표준입니다. 데이비드의 걱정처럼 우리는 지금 끊임없는 허위 광고처럼 느껴지는 세상에 살고 있습니다. 달래는 퍼즐이나 정원 게임을 기대하며 새와 꽃이 있는 무언가를 몇 번이나 클릭했는지 말할 수 없습니다…

A/B 테스트를 통해 고객에게 제공할 수 없더라도 잠재 고객과 고객이 원하는 것에 대해 많은 것을 알 수 있습니다.

그래서 Witch King's Oath 에 대한 좋은 표지를 찾기 위해 내 자신의 일부를 실행했습니다 . 사람들이 무엇을 클릭할지, 그리고 무엇을 얻어야 한다고 생각하는지 확인하지 않으시겠습니까?

A/B 테스트에서 "도덕성"의 핵심은 테스트하는 것이 합리적으로 비교할 수 있는지 확인하는 것입니다. 즉, 보여주는 것이 실제로 판매하는 것과 관련이 있는지 확인하는 것입니다. 내 경우에는 이것은 여성 에 대한 판타지 이야기입니다 . 두 이미지 모두 그것을 말하며 A와 B에 적합합니다.

이제 일부 사람들은 이미지/카피 테스트에 대해 매우 "최소-최대"를 얻습니다. 그들은 이미지를 거의 동일하게 유지하고 한 가지 요소만 변경하기를 원합니다(예: 눈 색깔을 변경하거나 일부 장신구를 제거할 수 있음). 내 경우에는 누가 무엇을 클릭하고 서로 얼마나 유사한지 아직 알지 못하기 때문에 이 단계에서는 덜 유용합니다. 그래서 미학이 매우 다른 이미지를 선택했습니다.

다음으로 Facebook Ads Manager 플랫폼으로 가져왔습니다. 이것은 작은 업적이 아니지만 나보다 훨씬 더 유능한 YouTube 사용자에게 설명을 남겨 두겠습니다. (심각하게 — 이 플랫폼은 Salesforce만큼 사용자에게 적대적이며 나이도 비슷합니다!)

Facebook 광고 플랫폼 내에서 하나의 캠페인을 실행하고 "A/B 테스트 만들기" 버튼을 클릭하여 B를 만들 수 있다면 가장 좋습니다. 두 개의 캠페인을 만들고 서로에 대해 실행할 수 있지만 광고가 서로의 잠재고객을 잠식할 위험이 있습니다.

테스트를 위해 저는 지역(미국), 성별(여성) 및 관심 분야(Samantha Shannon과 Jacqueline Carey의 팬 - 청중의 취향이 저와 비슷할 가능성이 높은 두 명의 대규모 추종자 판타지 작가)로 범위가 지정된 청중을 만들었습니다. 또한 18세에서 34세까지의 연령 그룹을 추가했습니다. 이렇게 하면 제 책을 좋아할 가능성이 높고 책에 돈을 쓸 수 있는 특정 청중을 얻을 수 있습니다.

7일 캠페인의 일일예산을 15,000원으로 설정했습니다. 캠페인에 평생 한도를 설정하지 않는 한 15달러가 완벽하지는 않지만 근접할 것입니다. 어느 시점에서든 캠페인에 과도한 비용을 지출하고 있고 평생 한도를 설정하는 것을 잊은 경우 버튼을 눌러 종료할 수 있습니다. (그러니 당황하지 마세요!)

그런 다음 어려운 부분이 있습니다. 기다리십시오.

광고 게재에는 시간이 걸립니다. 첫날 정도는 항상 꽤 비쌉니다. 그런 다음 알고리즘이 광고에서 더 똑똑해짐에 따라 비용이 낮아 집니다 . 차트에서 볼 수 있듯이 청중이 줄어들면 도달 범위도 떨어지기 시작합니다.

테스트가 완료되면 Facebook은 승자가 있다고 자랑하고 대시보드로 이동하여 무언가를 시도하고 배울 수 있습니다.

저는 두 가지 매우 중요한 사실을 배웠습니다.

내 "Stark" 표지 변형은 도달 범위가 약간 더 저렴했습니다…

하지만 내 '얼굴' 표지 변형은 훨씬 더 나은 클릭률을 보였습니다.

이것은 저에게 두 가지 명확한 행동 촉구를 제공합니다. Facebook에서 잠재 고객을 구축하려면 Stark 표지를 사용하여 유기적 도달을 얻는 것이 좋습니다. 내 페이지로 게시하거나 사람들이 페이지로 오도록 유도할 때 빨간색 텍스트가 있는 흑백 표지를 보면 사람들이 보게 됩니다.

하지만 실제로 사람들이 아마존 페이지로 이동해야 하는 책 자체를 판매할 때 그 페이스 커버는 사람들을 특정 문으로 더 빨리 끌어들이는 것이 될 것입니다.

최적화를 위해 테스트할 수 있는 몇 가지 다른 사항이 있을 수 있습니다. 예를 들어 표지를 유지하고 제목을 변경하여 재생할 수 있습니다. 두 번째 주인공이 마법사이기 때문에 남성 얼굴과 여성 얼굴을 테스트할 수도 있습니다. 마지막으로, 똑같은 테스트를 다시 실행할 수 있지만 잠재고객을 변경하고 더 저렴한 클릭률 결과를 얻는 요인(연령, 성별, 관심사)의 다른 조합이 있는지 확인합니다.

하지만… 내가 갈 곳은 여기밖에 없다. 프랑스에 있는 300만 명의 55세 남성이 다른 표지를 클릭하도록 설득할 수 있다 하더라도 퍼즐 게임 팬들에게 음란물 슬롯 게임을 판매하려는 것이 아님을 염두에 두어야 합니다.

당신이 좋아하는 모든 것을 테스트하되, 청중이 어떤 사람이 되기를 원하는지 잊지 마십시오.