Como interpretar os resultados do teste web AB (e por que você pode estar errado)!
O teste A/B é um método de comparação de duas versões de uma página da web com uma única diferença para ver qual tem melhor desempenho. Isso é feito dividindo aleatoriamente os visitantes do site em dois grupos e mostrando a eles versões diferentes, como títulos, imagens, layout e CTA. A versão vencedora é a mais eficaz para atingir uma meta específica, como aumentar conversões, CTR ou engajamento. O teste A/B é um aspecto fundamental da otimização do site e da otimização da taxa de conversão, e é isso que fazemos na webyn.ai .
A interpretação dos resultados de um teste AB é uma etapa vital para garantir que você esteja tomando as melhores decisões para o seu negócio. No entanto, e se você estiver tomando decisões erradas com base nos dados? Este artigo irá explorar como interpretar os resultados dos testes AB e por que você pode estar errado.
Por que seus resultados estão errados?
Os profissionais de marketing adoram gastar tempo e dinheiro em testes AB para otimizar seu site e aumentar a taxa de conversão. Os resultados costumam ser impressionantes: aumento de +17%. O problema: esse aumento não tem impacto no faturamento da empresa. Às vezes é ainda pior, as receitas estão diminuindo.
Para entender isso, imagine a seguinte situação:
Suponha que você tenha uma doença rara (que sinceramente espero que não tenha). Os pesquisadores desenvolveram um novo medicamento para curá-lo e o estão testando em uma amostra de pacientes. No entanto, esta droga tem fortes efeitos colaterais, então você quer ter certeza de que realmente funciona.
Ao final dos exames clínicos, você pede ao médico que lhe explique:
The Doctor : “Conseguimos demonstrar com um nível de confiança de 95% que esta nova droga é mais eficiente do que um placebo.”
Você : “O que isso significa?”
O Doutor : “Significa que em apenas 5% dos casos, nossos resultados de testes mostram uma melhora quando na realidade não há nenhuma.”
Você : “Ok, mas qual é a probabilidade, de acordo com o seu teste, de que essa droga me salve?”
O Doutor : “Ah, eu não posso te dizer isso…”
Você vai tomar a nova droga? Pessoalmente, não vou.
O Doutor está comunicando os resultados de um teste A/B usando significância estatística, o que indica uma chance de 95% de que a diferença observada na eficácia entre o novo medicamento e o controle não seja devida ao acaso. No entanto, isso não mede o significado prático dos resultados, nem a probabilidade de que o novo medicamento seja eficaz na cura da doença.
Não se preocupe, experimentos médicos são conduzidos com métodos estatísticos rigorosos para garantir segurança e eficiência.
Para ter certeza de que seus testes são relevantes, você deve respeitar pelo menos duas regras:
- um alto “nível de confiança” (ou baixa “significância estatística”), geralmente superior a 95% (ou inferior a 5%)
- um alto “poder estatístico”, geralmente superior a 80%
O que é significância estatística?
A significância estatística é a probabilidade de que os resultados do seu teste AB detectem uma melhora, mas não há nenhuma. Essa probabilidade é comumente referida como Alpha α, e os estatísticos se esforçam para manter esse número o mais baixo possível, a fim de reduzir a ocorrência dos chamados 'falsos positivos'.
O nível de confiança é igual a 1 — α (1 menos α) e é a probabilidade de que os resultados do seu teste AB detectem uma melhora e que essa melhora seja realmente real. Um bom nível de confiança é geralmente aceito como 95%, o que significa que há 95% de chance de que os resultados do teste AB sejam precisos.
Esse nível de confiança é um fator importante a ser considerado ao analisar os resultados de um teste AB, pois pode ser a diferença entre um resultado válido e um inválido.
O que é poder estatístico?
O poder estatístico é a probabilidade de detectar uma diferença quando ela realmente existe. Essa probabilidade é comumente referida como 1 — β (1 menos β). Um poder estatístico mais alto aumenta a probabilidade de detectar uma diferença ou associação verdadeira, se houver, e reduz a chance de um 'falso negativo'.
O poder de um teste A/B pode ser afetado por fatores como o tamanho da amostra, a taxa de conversão inicial, a diferença entre a taxa de conversão inicial e a esperada e o nível de significância usado (veja acima). Quanto maior o poder estatístico, mais tráfego você precisa para validar seus testes.
Um bom poder estatístico é geralmente aceito como 80%.
Por exemplo, você quer fazer um teste AB em seu site que tem 10.000 visitantes únicos por semana e taxa de conversão de 5%, e espera ter uma melhora na taxa de conversão em 10%, com nível de confiança de 95% e 80% de estatística poder, você precisará de uma amostra de mais de 30.000 visitantes, portanto, mais de 6 semanas para ter resultados significativos.
Conclusão
Agora você sabe como interpretar os resultados dos testes A/B e por que eles podem estar errados ou incompletos. Para detectar um vencedor variante significativo e evitar falsos negativos e falsos positivos, você precisa:
- Um nível de confiança acima de 95%
- Um poder estatístico acima de 80%
Aproveite e tenha muitos experimentos de sucesso!





































![O que é uma lista vinculada, afinal? [Parte 1]](https://post.nghiatu.com/assets/images/m/max/724/1*Xokk6XOjWyIGCBujkJsCzQ.jpeg)