Przygody w testach A/B

Dwanaście lat temu rozmawiałem dzisiaj z dyrektorem generalnym SpryFox, Davidem Ederym, na Game Developers Conference na temat testów A/B i gier mobilnych.

Testy A/B — w których dzielisz swoją publiczność i pokazujesz publiczności A jedną rzecz, podczas gdy publiczność B widzi coś innego — były wciąż całkiem nowe w branży gier w latach 2011/2012. Do tego momentu jedynym sposobem na to było przeprowadzanie ankiet marketingowych wśród potencjalnych klientów.

Podobnie jak w przypadku wielu rzeczy, Facebook, Google i Apple zmieniły reguły gry w branży gier. Do 2011 roku każdy z nich miał powierzchnie reklamowe, na których doświadczeni marketerzy wymyślili, jak prowadzić dwie kampanie naraz, aby spróbować ustalić, która z nich skłoni ludzi do kliknięcia przycisku. Mniej więcej w czasie, gdy rozmawiałem z Davidem na GDC tamtego roku, Facebook i Apple przekształciły to w prawdziwe narzędzia i usługi, które programiści mogli wykorzystać w grach społecznościowych.

David i ja odbyliśmy świetną rozmowę o moralności tego wszystkiego. Jak dziwnie było myśleć, że podzielisz swoją publiczność i nie zapewnisz im obu dokładnie takich samych wrażeń.

W dzisiejszych czasach testy A/B są normą — nie tylko w przypadku gier, ale każdego, kto próbuje coś sprzedać w Internecie. Tak jak martwił się David, żyjemy teraz w świecie, który przypomina ciągłą fałszywą reklamę. Nie mogę ci powiedzieć, ile razy klikałem na coś z ptakiem i kwiatem, mając nadzieję na kojącą układankę lub grę ogrodniczą… i kończyłem na nieco pornograficznej grze na automacie.

Okazuje się, że dzięki testom A/B możesz się wiele dowiedzieć o swoich potencjalnych klientach i ich oczekiwaniach, nawet jeśli nie jesteś w stanie im tego dać.

Pobiegłem więc trochę po własnych, aby znaleźć dobrą okładkę dla Witch King's Oath . Dlaczego nie zobaczyć, w co ludzie będą klikać i co według nich powinni z tego uzyskać?

Kluczem do „moralności” w testach A/B jest upewnienie się, że to, co testujesz, jest w miarę porównywalne — że to, co pokazujesz, rzeczywiście ma coś wspólnego z tym, co sprzedajesz. W moim przypadku jest to opowieść fantasy o kobiecie . Oba obrazy o tym mówią, dzięki czemu pasują do A i B.

Teraz niektórzy ludzie stają się bardzo „min-max” na temat swoich testów obrazu/kopii. Chcą zachować niemal identyczne obrazy i zmienić tylko jeden element (np. może zmienić kolor oczu lub usunąć część biżuterii). W moim przypadku jest to mniej przydatne na tym etapie, ponieważ nawet nie wiem jeszcze, kto w co będzie klikał i jak bardzo mogą być do siebie podobni. Wybrałem więc obrazy o bardzo różnej estetyce.

Następnie wprowadziłem ich na platformę Facebook Ads Manager. To nie jest mały wyczyn, ale wyjaśnienie zostawię znacznie bardziej kompetentnym YouTuberom niż ja. Wystarczy powiedzieć, że bycie pracownikiem Facebooka nie dawało mi ŻADNEGO specjalnego przywileju. (Poważnie — ta platforma jest mniej więcej tak wrogo nastawiona do użytkowników jak Salesforce i prawie w tym samym wieku!)

Na platformie reklamowej na Facebooku najlepiej będzie, jeśli możesz uruchomić jedną kampanię i kliknąć przycisk „Utwórz test A/B”, aby stworzyć swój B. Można po prostu utworzyć dwie kampanie i porównać je ze sobą, ale potem ryzykujesz, że Twoje reklamy będą wzajemnie kanibalizować odbiorców.

Na potrzeby mojego testu utworzyłem grupę odbiorców podzieloną na regiony (USA), płeć (kobiety) i zainteresowania (fani Samanthy Shannon i Jacqueline Carey — dwóch cieszących się dużą popularnością autorek fantasy, których odbiorcy prawdopodobnie będą podobni do moich w guście). Dodałem też grupę wiekową od 18 do 34 lat. To daje mi określoną grupę odbiorców, którym moja książka prawdopodobnie się spodoba i prawdopodobnie będą mieli pieniądze na książki.

Ustawiłem dzienny budżet w wysokości 15 USD na 7-dniową kampanię. Pamiętaj, że jeśli nie ustawisz limitu dożywotniej kampanii, 15 USD nie będzie idealne — ale będzie blisko. Jeśli w dowolnym momencie zauważysz, że wydajesz zbyt dużo na kampanię i zapomniałeś ustawić dożywotni limit, możesz go zabić jednym naciśnięciem przycisku. (Więc nie panikuj!)

Potem przychodzi najtrudniejsza część: poczekaj.

Wyświetlanie reklam wymaga czasu. Mniej więcej pierwszy dzień jest zawsze dość drogi. Następnie, w miarę jak algorytmy stają się coraz inteligentniejsze w Twojej reklamie, koszty powinny spaść. Jak widać na wykresach, Twój zasięg również zacznie spadać wraz z zawężaniem się grona odbiorców.

Po zakończeniu testu Facebook pochwali się, że ma zwycięzcę, a WTEDY możesz przejść do pulpitu nawigacyjnego, aby spróbować się czegoś dowiedzieć.

Dowiedziałem się dwóch bardzo ważnych rzeczy:

Mój wariant okładki „Stark” miał nieco tańszy zasięg…

Ale mój wariant okładki „Twarz” miał znacznie lepszą przejrzystość:

To daje mi dwa wyraźne wezwania do działania: Aby zbudować grupę odbiorców na Facebooku, lepiej jest użyć okładki Starka, aby uzyskać organiczny zasięg. Kiedy publikuję jako moja strona lub gdy próbuję zachęcić ludzi do odwiedzenia strony, zobaczenie czarno-białej okładki z czerwonym tekstem zachęci ludzi do spojrzenia.

Ale kiedy mam zamiar sprzedawać samą książkę, gdzie naprawdę potrzebuję ludzi, aby przeszli na stronę Amazon, ta okładka twarzy będzie rzeczą, która szybciej przyciągnie ludzi do tych konkretnych drzwi.

Prawdopodobnie jest kilka innych rzeczy, które mogę przetestować, aby zoptymalizować. Mogę na przykład pobawić się zachowaniem okładki i zmianą tytułu. Mogę też porównać męską twarz z kobiecą, bo drugą główną postacią jest czarodziej. Na koniec mogę ponownie przeprowadzić dokładnie ten sam test, ale zmienić odbiorców i sprawdzić, czy istnieje inna kombinacja czynników (wiek, płeć, zainteresowania), która zapewnia tańsze wyniki po kliknięciu.

Ale… Tylko tak daleko pójdę, tutaj. Nawet jeśli udałoby mi się przekonać 3 miliony 55-latków we Francji, aby kliknęli na inną okładkę, mam świadomość, że nie próbuję sprzedawać pornograficznych automatów fanom gier logicznych.

Testuj wszystko, co chcesz, ale nigdy nie trać z oczu tego, kim chcesz być dla swoich odbiorców.