Avventure nei test A/B

Dodici anni fa oggi, ho parlato con il CEO di SpryFox David Edery alla Game Developers Conference sui test A/B e sui giochi per dispositivi mobili.

I test A/B - in cui dividi il tuo pubblico e mostri al pubblico A una cosa mentre il pubblico B vede un'altra cosa - erano ancora piuttosto nuovi per l'industria dei giochi nel 2011/2012. Fino a quel momento, l'unico modo per farlo era eseguire sondaggi di marketing con potenziali clienti.

Come per tante cose, Facebook, Google e Apple hanno cambiato il gioco per l'industria dei giochi. Entro il 2011, ognuno di loro aveva superfici pubblicitarie in cui esperti di marketing avevano capito come eseguire due campagne alla volta per provare a capire quale convinceva le persone a fare clic su un pulsante. Più o meno nel periodo in cui parlai con David alla GDC quell'anno, Facebook e Apple lo trasformarono in strumenti e servizi reali che gli sviluppatori potevano attivare per i giochi social.

David e io abbiamo parlato molto della moralità di tutto ciò. Com'era strano pensare che avresti diviso il tuo pubblico e non dare a entrambi la stessa identica esperienza.

Al giorno d'oggi, i test A/B sono la norma, non solo per i giochi, ma per chiunque cerchi di vendere qualcosa su Internet. Proprio come David era preoccupato, ora viviamo in un mondo che sembra una costante pubblicità ingannevole. Non posso dirti quante volte ho cliccato su qualcosa con un uccello e un fiore sperando in un puzzle rilassante o in un gioco da giardino... e sono finito su un gioco di slot machine vagamente pornografico.

Si scopre che puoi imparare molto sui tuoi potenziali clienti e su ciò che vogliono con i test A/B, anche se non sei in grado di darglielo.

Quindi ne ho cercato uno per conto mio per trovare una buona copertina per Witch King's Oath . Perché non vedere su cosa faranno clic le persone e cosa pensano che dovrebbero ottenere da esso?

La chiave della "moralità" nei test A/B è assicurarsi che ciò che stai testando sia ragionevolmente comparabile - che ciò che stai mostrando abbia effettivamente qualcosa a che fare con ciò che stai vendendo. Nel mio caso, questa è una storia di fantasia su una donna . Entrambe le immagini parlano di questo, rendendole adatte per A e B.

Ora alcune persone ottengono molto "min-maxy" sui loro test di immagine/copia. Vogliono mantenere le immagini quasi identiche e cambiare solo un elemento (ad esempio cambiare il colore degli occhi o rimuovere alcuni gioielli). Nel mio caso, è meno utile in questa fase perché non so ancora chi farà clic su cosa e quanto potrebbero essere simili tra loro. Quindi ho scelto immagini che avevano un'estetica molto diversa.

Successivamente, li ho inseriti nella piattaforma Facebook Ads Manager. Non è un'impresa da poco, ma lascerò la spiegazione a YouTuber molto più competenti di me. Basti dire che essere un dipendente di Facebook non mi ha concesso NESSUN privilegio speciale. (Seriamente: questa piattaforma è ostile agli utenti quanto Salesforce e anche quasi della stessa età!)

All'interno della piattaforma di annunci di Facebook, è meglio se puoi eseguire una campagna e fare clic sul pulsante "Crea test A/B" per creare il tuo B. È possibile creare solo due campagne ed eseguirle l'una contro l'altra, ma poi corri il rischio che i tuoi annunci cannibalizzino il pubblico degli altri.

Per il mio test, ho creato un pubblico definito per regione (Stati Uniti), genere (donne) e interessi (fan di Samantha Shannon e Jacqueline Carey, due autrici fantasy molto seguite il cui pubblico è probabilmente simile al mio nel gusto). Ho anche aggiunto un gruppo di età da 18 a 34 anni. Questo mi dà un pubblico specifico che probabilmente apprezzerà il mio libro e probabilmente ha soldi da spendere per i libri.

Ho impostato un budget giornaliero di $ 15 per una campagna di 7 giorni. Tieni presente che, a meno che tu non imposti un limite a vita su una campagna, quei $ 15 non saranno perfetti, ma saranno vicini. Se in qualsiasi momento vedi che stai spendendo troppo per una campagna e hai dimenticato di impostare un limite a vita, puoi ucciderlo premendo un pulsante. (Quindi niente panico!)

Poi arriva la parte difficile: aspetta.

La consegna degli annunci richiede tempo. Il primo giorno o giù di lì è sempre piuttosto costoso. Quindi, man mano che gli algoritmi diventano più intelligenti con il tuo annuncio, i costi dovrebbero diminuire. Come puoi vedere dai grafici, anche la tua copertura inizierà a diminuire man mano che il pubblico si restringe.

Al termine del test, Facebook si vanterà di avere un vincitore e ALLORA potrai accedere alla dashboard per provare a imparare qualcosa.

Ho imparato due cose molto importanti:

La mia variante di copertina "Stark" aveva una copertura leggermente più economica...

Ma la mia variante di copertina "Face" ha avuto un clickthrough decisamente migliore :

Questo mi dà due chiari inviti all'azione: per creare un pubblico su Facebook, è meglio usare la copertina di Stark per ottenere una copertura organica. Quando pubblico un post come mia Pagina, o se sto cercando di convincere le persone a venire sulla pagina, vedere quella copertina in bianco e nero con il testo rosso indurrà le persone a guardare.

Ma quando venderò il libro stesso, dove in realtà ho bisogno che le persone vadano su una pagina di Amazon, quella copertina di Face sarà la cosa che farà entrare le persone in quella particolare porta più rapidamente.

Probabilmente ci sono altre cose che posso testare per ottimizzare. Posso, ad esempio, giocare mantenendo la copertina e cambiando il titolo. Posso anche confrontare un volto maschile con un volto femminile, poiché il secondo personaggio principale è un mago. Infine, posso ripetere lo stesso identico test, ma cambiare il pubblico e vedere se c'è una diversa combinazione di fattori (età, sesso, interesse) che ottiene risultati di clickthrough più economici.

Ma... C'è solo così lontano che andrò, qui. Anche se potessi convincere 3 milioni di uomini di 55 anni in Francia a fare clic su una copertina diversa, sono consapevole che non sto cercando di vendere un gioco di slot porno ai fan dei giochi di puzzle.

Metti alla prova tutto quello che vuoi, ma non perdere mai di vista chi vuoi che sia il tuo pubblico.