Aventures dans les tests A/B

Il y a douze ans aujourd'hui, j'ai parlé au PDG de SpryFox, David Edery, lors de la Game Developers Conference, des tests A/B et des jeux mobiles.

Les tests A/B - où vous divisez votre public et montrez au public A une chose tandis que le public B voit une autre chose - étaient encore assez nouveaux dans l'industrie des jeux en 2011/2012. Jusque-là, la seule façon de le faire était de mener des enquêtes marketing auprès de clients potentiels.

Comme pour tant de choses, Facebook, Google et Apple ont changé la donne pour l'industrie des jeux. En 2011, chacun d'entre eux disposait de surfaces publicitaires sur lesquelles des spécialistes du marketing avertis avaient compris comment exécuter deux campagnes à la fois pour essayer de déterminer laquelle incitait les internautes à cliquer sur un bouton. À peu près au moment où j'ai parlé avec David au GDC cette année-là, Facebook et Apple l'ont transformé en de véritables outils et services que les développeurs pourraient utiliser pour les jeux sociaux.

David et moi avons eu une excellente conversation sur la moralité de tout cela. Comme c'était bizarre de penser que vous diviseriez votre public et ne leur donneriez pas exactement la même expérience.

De nos jours, les tests A/B sont la norme - pas seulement pour les jeux, mais pour quiconque essaie de vendre quelque chose sur Internet. Tout comme David s'inquiétait, nous vivons maintenant dans un monde qui ressemble à une fausse publicité constante. Je ne peux pas vous dire combien de fois j'ai cliqué sur quelque chose avec un oiseau et une fleur dans l'espoir d'un puzzle ou d'un jeu de jardin apaisant… et je me suis retrouvé sur une machine à sous vaguement porno.

Il s'avère que vous pouvez en apprendre beaucoup sur vos clients potentiels et sur ce qu'ils veulent avec les tests A/B, même si vous n'êtes pas en mesure de le leur donner.

J'ai donc couru quelques-uns des miens pour trouver une bonne couverture pour Witch King's Oath . Pourquoi ne pas voir sur quoi les gens vont cliquer et ce qu'ils pensent devoir en tirer ?

La clé de la « moralité » dans les tests A/B est de s'assurer que ce que vous testez est raisonnablement comparable — que ce que vous montrez a réellement quelque chose à voir avec ce que vous vendez. Dans mon cas, il s'agit d'une histoire fantastique sur une femme . Les deux images en parlent, les rendant adaptées à A et B.

Maintenant, certaines personnes deviennent très "min-maxy" à propos de leurs tests d'image/copie. Ils veulent garder les images presque identiques et ne changer qu'un seul élément (par exemple, changer la couleur des yeux ou retirer certains bijoux). Dans mon cas, c'est moins utile à ce stade car je ne sais même pas encore qui va cliquer sur quoi et à quel point ils peuvent être similaires. J'ai donc choisi des images qui avaient des esthétiques très différentes.

Ensuite, je les ai intégrés à la plateforme Facebook Ads Manager. Ce n'est pas une mince affaire, mais je laisserai l'explication à des YouTubers beaucoup plus compétents que moi. Qu'il suffise de dire qu'être un employé de Facebook ne m'a donné AUCUN privilège spécial. (Sérieusement, cette plate-forme est à peu près aussi hostile aux utilisateurs que Salesforce et à peu près du même âge !)

Au sein de la plate-forme publicitaire Facebook, vous êtes mieux loti si vous pouvez lancer une campagne et cliquer sur le bouton "Créer un test A/B" pour créer votre B. Il est possible de créer simplement deux campagnes et de les exécuter l'une contre l'autre, mais alors vous courez le risque que vos publicités cannibalisent l'audience des autres.

Pour mon test, j'ai créé un public par région (États-Unis), sexe (femmes) et intérêts (fans de Samantha Shannon et Jacqueline Carey - deux auteurs de fantasy très suivis dont le public est susceptible d'être similaire au mien en goût). J'ai également ajouté une tranche d'âge de 18 à 34 ans. Cela me donne un public spécifique susceptible d'apprécier mon livre et qui a probablement de l'argent à dépenser pour des livres.

J'ai défini un budget quotidien de 15 $ pour une campagne de 7 jours. Notez qu'à moins que vous ne définissiez un plafond à vie sur une campagne, ces 15 $ ne seront pas parfaits, mais ils seront proches. Si, à un moment donné, vous constatez que vous dépensez trop pour une campagne et que vous avez oublié de définir un plafond à vie, vous pouvez le tuer en appuyant sur un bouton. (Alors pas de panique !)

Vient ensuite le plus dur : attendre.

La livraison des annonces prend du temps. Le premier jour est toujours assez cher. Ensuite, à mesure que les algorithmes deviennent plus intelligents avec votre annonce, les coûts devraient baisser. Comme vous pouvez le voir sur les graphiques, votre portée commencera également à diminuer à mesure que l'audience se rétrécit.

Une fois le test terminé, Facebook se vantera d'avoir un gagnant et ENSUITE, vous pourrez accéder au tableau de bord pour essayer d'apprendre quelque chose.

J'ai appris deux choses très importantes :

Ma variante de couverture "Stark" avait une portée légèrement moins chère…

Mais ma variante de couverture "Face" avait un bien meilleur taux de clics :

Cela me donne deux appels clairs à l'action : pour créer une audience sur Facebook, je ferais mieux d'utiliser la couverture Stark pour obtenir une portée organique. Lorsque je poste en tant que ma page, ou si j'essaie d'inciter les gens à venir sur la page, voir cette couverture en noir et blanc avec le texte rouge incitera les gens à regarder.

Mais quand je vais vendre le livre lui-même, où j'ai besoin que les gens se rendent sur une page Amazon, cette couverture de visage va être la chose qui amènera les gens plus rapidement à cette porte particulière.

Il y a probablement d'autres choses que je peux tester pour optimiser. Je peux, par exemple, jouer à garder la couverture et changer le titre. Je peux également tester un visage masculin contre un visage féminin, car le deuxième personnage principal est un sorcier. Enfin, je peux refaire exactement le même test, mais en changeant d'audience et en voyant s'il existe une combinaison différente de facteurs (âge, sexe, intérêt) qui génère des résultats de clics moins chers.

Mais… Il n'y a que jusqu'où j'irai, ici. Même si je pouvais convaincre 3 millions d'hommes de 55 ans en France de cliquer sur une couverture différente, je suis conscient que je n'essaie pas de vendre un jeu de machines à sous porno aux fans de jeux de réflexion.

Testez tout ce que vous aimez, mais ne perdez jamais de vue qui vous voulez que votre public soit.