Abenteuer im A/B-Testing

Heute vor zwölf Jahren sprach ich mit David Edery, CEO von SpryFox, auf der Game Developers Conference über A/B-Tests und mobile Spiele.

A/B-Tests – bei denen Sie Ihr Publikum aufteilen und Publikum A eine Sache zeigen, während Publikum B etwas anderes sieht – waren 2011/2012 noch ziemlich neu in der Spielebranche. Bis zu diesem Zeitpunkt bestand die einzige Möglichkeit darin, Marketingumfragen bei potenziellen Kunden durchzuführen.

Wie bei so vielen Dingen haben Facebook, Google und Apple die Spielregeln für die Spielebranche verändert. Bis 2011 verfügte jeder von ihnen über Werbeflächen, auf denen versierte Vermarkter herausgefunden hatten, wie man zwei Kampagnen gleichzeitig durchführte, um herauszufinden, welche davon die Leute dazu brachte, auf eine Schaltfläche zu klicken. Ungefähr zu der Zeit, als ich in diesem Jahr auf der GDC mit David sprach, verwandelten Facebook und Apple daraus echte Tools und Dienste, die Entwickler für soziale Spiele nutzen konnten.

David und ich hatten ein tolles Gespräch über die Moral des Ganzen. Wie seltsam es war, zu glauben, man würde sein Publikum spalten und nicht beiden genau das gleiche Erlebnis bieten.

Heutzutage sind A/B-Tests die Norm – nicht nur für Spiele, sondern für jeden, der versucht, etwas im Internet zu verkaufen. Genau wie David befürchtete, leben wir jetzt in einer Welt, die sich wie ständige falsche Werbung anfühlt. Ich kann Ihnen gar nicht sagen, wie oft ich auf etwas mit einem Vogel und einer Blume geklickt habe, in der Hoffnung auf ein beruhigendes Puzzle oder ein Gartenspiel … und am Ende bei einem irgendwie pornösen Spielautomatenspiel gelandet bin.

Es stellt sich heraus, dass Sie mit A/B-Tests viel über Ihre potenziellen Kunden und deren Wünsche erfahren können, auch wenn Sie es ihnen nicht vermitteln können.

Also habe ich einige davon selbst durchgespielt, um ein gutes Cover für Witch King's Oath zu finden . Warum nicht sehen, worauf die Leute klicken und was sie ihrer Meinung nach davon bekommen sollten?

Der Schlüssel zur „Moral“ bei A/B-Tests besteht darin, sicherzustellen, dass das, was Sie testen, einigermaßen vergleichbar ist – dass das, was Sie zeigen, tatsächlich etwas mit dem zu tun hat, was Sie verkaufen. In meinem Fall handelt es sich um eine Fantasy- Geschichte über eine Frau . Beide Bilder sprechen dafür und machen sie für A und B geeignet.

Mittlerweile sind einige Leute bei ihren Bild-/Kopiertests sehr nervös. Sie möchten, dass die Bilder nahezu identisch bleiben und nur ein Element ändern (z. B. vielleicht die Augenfarbe ändern oder einen Teil des Schmucks entfernen). In meinem Fall ist das zu diesem Zeitpunkt weniger nützlich, da ich noch nicht einmal weiß, wer auf was klickt und wie ähnlich sie einander sein könnten. Deshalb habe ich Bilder ausgewählt, die eine sehr unterschiedliche Ästhetik hatten.

Als nächstes habe ich sie in die Facebook Ads Manager-Plattform übernommen. Das ist keine Kleinigkeit, aber ich überlasse das Erklären viel kompetenteren YouTubern als mir. Es genügt zu sagen, dass mir die Arbeit als Facebook-Mitarbeiter KEIN besonderes Privileg verschafft hat. (Im Ernst – diese Plattform ist ungefähr so ​​benutzerfeindlich wie Salesforce und auch ungefähr gleich alt!)

Innerhalb der Facebook-Werbeplattform sind Sie am besten dran, wenn Sie eine Kampagne ausführen und auf die Schaltfläche „A/B-Test erstellen“ klicken, um Ihren B-Test zu erstellen. Es ist möglich, einfach zwei Kampagnen zu erstellen und sie gegeneinander auszuführen, aber dann Sie laufen Gefahr, dass Ihre Anzeigen das Publikum des anderen ausschlachten.

Für meinen Test habe ich ein Publikum zusammengestellt, das nach Region (USA), Geschlecht (Frauen) und Interessen (Fans von Samantha Shannon und Jacqueline Carey – zwei Fantasy-Autoren mit großer Anhängerschaft, deren Publikum geschmacklich wahrscheinlich meinem ähnlich ist) gegliedert ist. Ich habe auch eine Altersgruppe von 18 bis 34 Jahren hinzugefügt. Dadurch erhalte ich eine bestimmte Zielgruppe, die mein Buch wahrscheinlich genießen wird und wahrscheinlich auch Geld für Bücher hat.

Ich habe ein Tagesbudget von 15 $ für eine 7-tägige Kampagne festgelegt. Beachten Sie, dass 15 $ nicht perfekt sind, es sei denn, Sie legen eine lebenslange Obergrenze für eine Kampagne fest – aber sie werden nah dran sein. Wenn Sie zu irgendeinem Zeitpunkt feststellen, dass Sie zu viel für eine Kampagne ausgeben und vergessen haben, eine lebenslange Obergrenze festzulegen, können Sie die Aktion per Knopfdruck beenden. (Also keine Panik!)

Dann kommt der schwierige Teil: Warten.

Die Auslieferung von Anzeigen braucht Zeit. Der erste Tag oder so ist immer ziemlich teuer. Wenn die Algorithmen dann mit Ihrer Anzeige intelligenter werden, sollten die Kosten sinken. Wie Sie den Diagrammen entnehmen können, sinkt auch Ihre Reichweite, wenn die Zielgruppe kleiner wird.

Wenn der Test abgeschlossen ist, wird Facebook Ihnen gegenüber prahlen, dass es einen Gewinner hat, und DANACH können Sie in das Dashboard gehen, um zu versuchen, etwas zu lernen.

Ich habe zwei sehr wichtige Dinge gelernt:

Meine Cover-Variante „Stark“ hatte eine etwas günstigere Reichweite…

Aber meine „Face“-Cover-Variante hatte eine viel bessere Klickrate:

Das gibt mir zwei klare Handlungsaufforderungen: Um ein Publikum auf Facebook aufzubauen, nutze ich besser das Stark-Cover, um organische Reichweite zu erzielen. Wenn ich auf meiner Seite poste oder versuche, Leute dazu zu bringen, auf die Seite zu kommen, werden die Leute durch den Anblick des schwarz-weißen Covers mit dem roten Text darauf aufmerksam gemacht.

Aber wenn ich das Buch selbst verkaufe, wo ich tatsächlich Leute brauche, die auf eine Amazon-Seite gehen, wird dieses Face-Cover das sein, was die Leute schneller in diese bestimmte Tür lockt.

Es gibt wahrscheinlich noch einige andere Dinge, die ich zur Optimierung testen kann. Ich kann zum Beispiel damit spielen, das Cover beizubehalten und den Titel zu ändern. Ich kann auch ein männliches Gesicht gegen ein weibliches Gesicht testen, da die zweite Hauptfigur ein Zauberer ist. Schließlich kann ich genau denselben Test noch einmal durchführen, aber die Zielgruppe ändern und prüfen, ob es eine andere Kombination von Faktoren (Alter, Geschlecht, Interesse) gibt, die zu günstigeren Klickergebnissen führt.

Aber... Hier kann ich nur so weit gehen. Selbst wenn ich 3 Millionen 55-jährige Männer in Frankreich davon überzeugen könnte, auf ein anderes Cover zu klicken, bin ich mir bewusst, dass ich nicht versuche, den Fans von Puzzlespielen ein pornografisches Automatenspiel zu verkaufen.

Testen Sie alles, was Ihnen gefällt, aber verlieren Sie nie aus den Augen, wer Ihr Publikum sein soll.