A/B Testindeki Maceralar

On iki yıl önce bugün, Oyun Geliştiricileri Konferansı'nda SpryFox CEO'su David Edery ile A/B testi ve mobil oyunlar hakkında konuştum.

Kitlenizi böldüğünüz ve Kitle A'ya bir şey gösterirken B Kitlesi'nin gördüğü başka bir şeye baktığınız A/B testi, 2011/2012'de oyun endüstrisinde hâlâ oldukça yeniydi. O noktaya kadar, bunu yapmanın tek yolu potansiyel müşterilerle pazarlama anketleri yapmaktı.

Pek çok şeyde olduğu gibi, Facebook, Google ve Apple oyun endüstrisi için oyunu değiştirdi. 2011'e gelindiğinde, her birinin, bilgili pazarlamacıların, insanları bir düğmeyi tıklatacak kampanyalardan hangisine yönlendireceğini denemek için aynı anda iki kampanyayı nasıl yürüteceklerini buldukları reklam yüzeyleri vardı. O yıl GDC'de David ile konuştuğum sıralarda, Facebook ve Apple bunu geliştiricilerin sosyal oyunlar için kullanabilecekleri gerçek araçlara ve hizmetlere dönüştürdü.

David ve ben tüm bunların ahlakı hakkında harika bir konuşma yaptık. Kitlenizi böleceğinizi ve ikisine de aynı deneyimi yaşatmayacağınızı düşünmek ne kadar tuhaftı .

Günümüzde A/B testi norm haline geldi - sadece oyunlar için değil, internette bir şeyler satmaya çalışan herkes için. Tıpkı David'in endişelendiği gibi, artık sürekli yanlış reklamcılık gibi hissettiren bir dünyada yaşıyoruz. Sakinleştirici bir yapboz veya bahçe oyunu ümidiyle kuş ve çiçek içeren bir şeye kaç kez tıkladığımı ve sonunda müstehcen bir kumar makinesi oyununa düştüğümü anlatamam.

Görünen o ki, A/B testi ile potansiyel müşterileriniz ve onların ne istedikleri hakkında onlara bunu sağlayamasanız bile çok şey öğrenebilirsiniz.

Bu yüzden, Witch King's Oath için iyi bir kapak bulmak için kendimden bazılarını araştırdım . İnsanların neye tıklayacağını ve bundan ne almaları gerektiğini düşündüklerini neden göremiyorsunuz?

A/B testlerinde "ahlak"ın anahtarı, test ettiğiniz şeyin makul ölçüde karşılaştırılabilir olduğundan, yani gösterdiklerinizin aslında sattıklarınızla bir ilgisi olduğundan emin olmaktır. Benim durumumda, bu bir kadın hakkında bir fantezi hikayesi . Her iki görüntü de bunu anlatıyor ve onları A ve B'ye uygun hale getiriyor.

Artık bazı insanlar görüntü/kopya testleri hakkında çok "min-maks" alıyor. Görüntüleri neredeyse aynı tutmak ve yalnızca bir öğeyi değiştirmek istiyorlar (örneğin göz rengini değiştirmek veya bazı takıları çıkarmak). Benim durumumda, bu aşamada bu daha az kullanışlı çünkü kimin neye tıklayacağını ve birbirlerine ne kadar benzeyeceklerini henüz bilmiyorum. Bu yüzden çok farklı estetiğe sahip görseller seçtim.

Sonra, onları Facebook Reklam Yöneticisi platformuna aldım. Bu küçük bir başarı değil ama açıklamayı benden çok daha yetkin YouTuber'lara bırakacağım. Facebook çalışanı olmanın bana HİÇBİR özel ayrıcalık sağlamadığını söylemekle yetiniyorum. (Cidden - bu platform, Salesforce kadar kullanıcı düşmanı ve hemen hemen aynı yaşta!)

Facebook reklam platformunda, bir kampanya yürütebilirseniz ve B'nizi oluşturmak için "A/B testi oluştur" düğmesini tıklarsanız en iyi durumda olursunuz. Yalnızca iki kampanya yapıp bunları birbirine karşı yürütmek mümkündür, ancak daha sonra reklamlarınızın birbirinizin hedef kitlesini yeme riskiyle karşı karşıya kalırsınız.

Testim için, bölge (ABD), cinsiyet (kadınlar) ve ilgi alanlarına (izleyicileri zevk olarak muhtemelen benimkine benzeyen iki büyük fantazi yazarı olan Samantha Shannon ve Jacqueline Carey'nin hayranları) göre kapsamlı bir hedef kitle oluşturdum. Ayrıca 18 ile 34 arasında bir yaş grubu da ekledim. Bu bana, kitabımdan hoşlanma olasılığı yüksek ve muhtemelen kitaplara harcayacak parası olan belirli bir kitle sağlıyor.

7 günlük bir kampanya için günlük bütçeyi 15 ABD doları olarak belirledim. Bir kampanya için ömür boyu bir sınır belirlemezseniz, bu 15 doların mükemmel olmayacağını, ancak buna yakın olacağını unutmayın. Herhangi bir noktada bir kampanyaya fazla para harcadığınızı görürseniz ve bir ömür boyu sınır belirlemeyi unutursanız, bir düğmeye basarak onu kapatabilirsiniz. (Yani panik yapmayın!)

Sonra zor kısım geliyor: Bekle.

Reklam teslimi zaman alır. İlk gün ya da öylesine her zaman oldukça pahalıdır. Ardından, algoritmalar reklamınızla daha akıllı hale geldikçe maliyetler düşmelidir . Grafiklerden de görebileceğiniz gibi, kitle daraldıkça erişiminiz de düşmeye başlayacak.

Test bittiğinde, Facebook size bir kazananı olduğu için övünecek ve SONRA kontrol paneline gidip bir şeyler öğrenmeye çalışabilirsiniz.

Çok önemli iki şey öğrendim:

Benim "Stark" kapak varyantım biraz daha ucuz erişime sahipti...

Ancak "Yüz" kapak varyantımın tıklaması çok daha iyi oldu :

Bu bana iki net eylem çağrısı veriyor: Facebook'ta bir kitle oluşturmak için, organik erişim elde etmek için Stark kapağını kullanmaktan daha iyiyim. Sayfam olarak paylaşım yaptığımda veya insanları sayfaya çekmeye çalıştığımda, kırmızı metinli siyah beyaz kapağı görmek insanların bakmasını sağlar.

Ama kitabın kendisini satacağım zaman, aslında insanların bir Amazon sayfasına gitmesine ihtiyaç duyduğumda, o Yüz kapatma, insanları o kapıya daha çabuk sokan şey olacak.

Optimize etmek için test edebileceğim başka şeyler de olabilir. Örneğin, kapağı koruyarak ve başlığı değiştirerek oynayabilirim. İkinci baş karakter bir sihirbaz olduğu için bir erkek yüzünü bir kadın yüzüne karşı da test edebilirim. Son olarak, tamamen aynı testi yeniden çalıştırabilirim, ancak hedef kitleyi değiştirebilir ve daha ucuz tıklama sonuçları elde eden farklı bir faktör kombinasyonu (yaş, cinsiyet, ilgi) olup olmadığına bakabilirim.

Ama... Burada gideceğim bir yere kadar var. Fransa'daki 55 yaşındaki 3 milyon erkeği farklı bir kapağa tıklamaya ikna edebilsem bile, bulmaca oyunu hayranlarına porno slot oyunu satmaya çalışmadığımın farkındayım.

İstediğiniz kadar test edin, ancak hedef kitlenizin kim olmasını istediğinizi asla gözden kaçırmayın.