A/B テストの冒険

12年前の今日、私はゲーム開発者カンファレンスでSpryFox CEOのDavid EderyとA/Bテストとモバイルゲームについて話しました。

A/B テスト (視聴者を分けて、視聴者 A にはあるものを見せ、視聴者 B には別のものを見るというテスト) は、2011 年から 2012 年のゲーム業界ではまだかなり新しいものでした。それまでは、見込み客に対してマーケティング調査を実施するしか方法がありませんでした。

多くのことと同様に、Facebook、Google、Apple はゲーム業界の状況を変えました。2011 年までに、それぞれの企業に広告が表示され、賢明なマーケティング担当者は、一度に 2 つのキャンペーンを実行し、どちらのキャンペーンが人々にボタンをクリックさせるかを試してみる方法を見つけ出しました。その年の GDC で私が David と話した頃、Facebook と Apple は、開発者がソーシャル ゲーム用にオンにできる実際のツールとサービスに変えました。

デビッドと私は、すべての道徳について素晴らしい話し合いをしました。視聴者を分けて、両方にまったく同じ体験を提供しないと考えるのは、なんと奇妙でしょうか。

今日では、A/B テストはゲームに限らず、インターネット上で何かを販売しようとするあらゆる人にとっての標準となっています。David が心配したように、私たちは現在、虚偽の広告が絶え間なく存在するように感じる世界に住んでいます。心地よいパズルやガーデン ゲームを期待して、鳥や花が描かれたものをクリックしたことが何度かわかりません…そして、漠然とポルノ的なスロット マシン ゲームに行き着いてしまいました。

結局のところ、たとえそれを伝えることができなかったとしても、A/B テストを行うことで、見込み顧客と彼らが望んでいることについて多くのことを学ぶことができることがわかりました。

そこで、 「Witch King's Oath」の適切なカバーを見つけるために、独自のカバーをいくつか実行しました。人々が何をクリックするのか、そしてそこから何を得る必要があると考えているのかを確認してみませんか?

A/B テストにおける「道徳性」の鍵は、テストしているものが合理的に比較可能であること、つまり、表示しているものが実際に販売しているものと何らかの関係があることを確認することです。私の場合、これは女性についてのファンタジーの物語です。どちらの画像もそれを物語っており、A と B に適しています。

現在、一部の人々はイメージ/コピー テストについて非常に「最小から最大まで」の結果を出します。彼らは、画像をほぼ同一に保ち、1 つの要素のみを変更したいと考えています (たとえば、目の色を変更したり、宝石の一部を削除したりするなど)。私の場合、誰が何をクリックするのか、そしてそれらが互いにどの程度似ているのかさえまだ分からないため、この段階ではあまり役に立ちません。そこで、まったく異なる美学を持つ画像を選択しました。

次に、それらを Facebook 広告マネージャー プラットフォームに取り込みました。これは簡単な偉業ではありませんが、説明は私よりもはるかに有能な YouTuber に任せます。Facebook の従業員であるからといって、私に特別な特権が与えられたわけではないと言うだけで十分です。(真剣に言うと、このプラットフォームは Salesforce と同じくらいユーザーに敵対的であり、年齢もほぼ同じです!)

Facebook 広告プラットフォーム内では、1 つのキャンペーンを実行し、[A/B テストの作成] ボタンをクリックして B を作成できれば最も効果的です。2 つのキャンペーンを作成して相互に実行することも可能ですが、広告がお互いの視聴者を共食いする危険があります。

私のテストでは、地域 (米国)、性別 (女性)、興味 (サマンサ シャノンとジャクリーン ケアリーのファン、つまり、2 人の人気ファンタジー作家のファンであり、その読者の好みが私と似ている可能性が高い) によって範囲を限定した視聴者を作成しました。また、18 歳から 34 歳までの年齢グループも追加しました。これにより、私の本を楽しんでくれる可能性が高く、おそらく本に費やすお金を持っている特定の読者がわかります。

7 日間のキャンペーンの 1 日の予算を 15 ドルに設定しました。キャンペーンに生涯の上限を設定しない限り、15 ドルは完璧ではありませんが、それに近い金額になることに注意してください。キャンペーンに支出しすぎていることに気づき、有効期限の上限を設定するのを忘れた場合は、ボタンを押すだけで上限を設定できます。（だからパニックにならないでください！）

次に難しいのは、待ってください。

広告配信には時間がかかります。初日やそこらはいつもかなり高価です。その後、広告のアルゴリズムがより賢くなるにつれて、コストは下がるはずです。グラフからわかるように、視聴者が狭くなるにつれてリーチも低下し始めます。

テストが完了すると、Facebook は勝者がいると自慢し、ダッシュボードにアクセスして何かを学ぶことができます。

私は 2 つの非常に重要なことを学びました。

私の「スターク」カバー版はリーチが若干安かったのですが…

しかし、私の「Face」カバー バリアントのクリックスルーははるかに優れていました。

これにより、2 つの明確な行動喚起が得られます。Facebook で視聴者を増やすには、Stark のカバーを使用してオーガニック リーチを獲得する方が良いでしょう。自分のページとして投稿するとき、または人々にそのページに来てもらおうとしているとき、白黒の表紙に赤い文字があれば、人々の目に留まるでしょう。

しかし、本自体を販売する場合、実際に人々に Amazon のページにアクセスしてもらう必要がある場合、そのフェイスカバーが人々をより早く特定のドアに誘導するものになるでしょう。

最適化するためにテストできるものが他にもいくつかあると思われます。たとえば、表紙をそのままにしてタイトルを変更して遊ぶこともできます。2 番目の主人公は魔法使いなので、男性の顔を女性の顔と比較してテストすることもできます。最後に、まったく同じテストを再実行しますが、対象ユーザーを変更して、より安価なクリックスルー結果を得る要因 (年齢、性別、興味) の異なる組み合わせがあるかどうかを確認します。

しかし…私が行くのはここまでです。たとえフランスの 300 万人の 55 歳男性を説得して別のカバーをクリックさせることができたとしても、パズル ゲーム ファンにポルノ スロット ゲームを販売しようとしているわけではないことを私は念頭に置いています。

好きなものをすべてテストしてください。ただし、視聴者にどんな人になってもらいたいかを見失わないでください。