Aventuras no teste A/B

Há doze anos, conversei com o CEO da SpryFox, David Edery, na Game Developers Conference sobre testes A/B e jogos para dispositivos móveis.

O teste A/B – onde você divide seu público e mostra uma coisa ao Público A enquanto o Público B vê outra coisa – ainda era muito novo para a indústria de jogos em 2011/2012. Até aquele momento, a única maneira de fazer isso era realizar pesquisas de marketing com clientes em potencial.

Como acontece com tantas coisas, Facebook, Google e Apple mudaram o jogo para a indústria de jogos. Em 2011, cada um deles tinha superfícies de anúncios onde profissionais de marketing experientes descobriram como executar duas campanhas ao mesmo tempo para tentar descobrir qual delas fazia as pessoas clicarem em um botão. Na época em que conversei com David na GDC naquele ano, o Facebook e a Apple o transformaram em ferramentas e serviços reais que os desenvolvedores poderiam usar para jogos sociais.

David e eu tivemos uma ótima conversa sobre a moralidade disso tudo. Como era estranho pensar que você dividiria seu público e não daria a ambos exatamente a mesma experiência.

Hoje em dia, o teste A/B é a norma – não apenas para jogos, mas para qualquer pessoa que tente vender algo na internet. Assim como David se preocupava, agora vivemos em um mundo que parece uma propaganda enganosa constante. Não sei dizer quantas vezes cliquei em algo com um pássaro e uma flor esperando um quebra-cabeça reconfortante ou um jogo de jardim... e acabei em um jogo de caça-níqueis vagamente pornô.

Acontece que você pode aprender muito sobre seus clientes em potencial e o que eles desejam com o teste A/B, mesmo que não seja capaz de fornecê-los a eles.

Então eu fiz alguns dos meus para encontrar uma boa cobertura para o Juramento do Rei Bruxo . Por que não ver no que as pessoas clicarão e o que elas acham que devem obter com isso?

A chave para a “moralidade” nos testes A/B é certificar-se de que o que você está testando é razoavelmente comparável – que o que você está mostrando realmente tem algo a ver com o que você está vendendo. No meu caso, esta é uma história de fantasia sobre uma mulher . Ambas as imagens falam disso, tornando-as adequadas para A e B.

Agora, algumas pessoas ficam muito “min-maxy” sobre seus testes de imagem/cópia. Eles querem manter as imagens quase idênticas e alterar apenas um elemento (por exemplo, talvez mudar a cor dos olhos ou remover algumas das joias). No meu caso, isso é menos útil neste estágio, porque ainda nem sei quem clicará em quê e quão semelhantes eles podem ser. Então escolhi imagens que tinham uma estética bem diferente.

Em seguida, coloquei-os na plataforma do Facebook Ads Manager. Isso não é pouca coisa, mas vou deixar a explicação para YouTubers muito mais competentes do que eu. Basta dizer que ser funcionário do Facebook não me deu NENHUM privilégio especial. (Sério - esta plataforma é tão hostil quanto o usuário do Salesforce e quase da mesma idade também!)

Dentro da plataforma de anúncios do Facebook, você se sairá melhor se puder executar uma campanha e clicar no botão “Criar teste A/B” para criar seu B. É possível fazer apenas duas campanhas e executá-las uma contra a outra, mas depois você corre o risco de seus anúncios canibalizarem o público uns dos outros.

Para o meu teste, criei um público com escopo por região (EUA), gênero (mulheres) e interesses (fãs de Samantha Shannon e Jacqueline Carey - duas autoras de fantasia com muitos seguidores cujo público provavelmente tem gosto semelhante ao meu). Também adicionei uma faixa etária de 18 a 34 anos. Isso me dá um público específico que provavelmente gostará do meu livro e provavelmente terá dinheiro para gastar em livros.

Defino um orçamento diário de $ 15 para uma campanha de 7 dias. Observe que, a menos que você defina um limite vitalício para uma campanha, esses $ 15 não serão perfeitos - mas estarão próximos. Se, a qualquer momento, você perceber que está gastando demais em uma campanha e se esqueceu de definir um limite vitalício, pode eliminá-lo pressionando um botão. (então não entre em pânico!)

Depois vem a parte difícil: espere.

A entrega de anúncios leva tempo. O primeiro dia é sempre muito caro. Então, à medida que os algoritmos ficam mais inteligentes com seu anúncio, os custos devem diminuir. Como você pode ver nos gráficos, seu alcance também começará a cair à medida que o público diminuir.

Quando o teste terminar, o Facebook vai se gabar de que tem um vencedor e, ENTÃO, você pode entrar no painel para tentar aprender alguma coisa.

Aprendi duas coisas muito importantes:

Minha variante de capa “Stark” teve um alcance um pouco mais barato…

Mas minha variante de capa “Face” teve uma taxa de cliques muito melhor :

Isso me dá duas chamadas claras para a ação: Para construir uma audiência no Facebook, é melhor usar a capa da Stark para obter alcance orgânico. Quando eu posto como minha Página, ou se estou tentando fazer com que as pessoas acessem a página, ver aquela capa em preto e branco com o texto vermelho fará com que as pessoas olhem.

Mas quando vou vender o livro em si, onde realmente preciso que as pessoas acessem uma página da Amazon, a capa do Face será o que levará as pessoas àquela porta específica mais rapidamente.

Provavelmente há outras coisas que posso testar para otimizar. Posso, por exemplo, brincar de manter a capa e mudar o título. Também posso testar um rosto masculino contra um rosto feminino, já que o segundo personagem principal é um mago. Por fim, posso executar exatamente o mesmo teste, mas alterar o público e ver se há uma combinação diferente de fatores (idade, sexo, interesse) que obtenha resultados de cliques mais baratos.

Mas... Há apenas até onde irei, aqui. Mesmo que eu pudesse convencer 3 milhões de homens de 55 anos na França a clicar em uma capa diferente, estou ciente de que não estou tentando vender um jogo de caça-níqueis pornô para fãs de jogos de quebra-cabeça.

Teste tudo o que quiser, mas nunca perca de vista quem você quer que seu público seja.