Construir ou não construir?

Escolher como manter seus experimentos pode ser uma tarefa tediosa

À medida que o mundo dos negócios se torna cada vez mais orientado a dados, o teste A/B se tornou uma ferramenta essencial para empresas que buscam entender como as mudanças em seus produtos e sites afetarão os negócios. No entanto, quando se trata de teste A/B, as empresas devem decidir se devem construir sua própria plataforma ou usar uma ferramenta existente de terceiros.

Construir uma plataforma personalizada de teste A/B pode ser uma ótima opção para empresas que:

• Ter a necessidade de executar dezenas ou centenas de experimentos em paralelo. Se sua empresa está constantemente testando novas ideias e realizando vários experimentos ao mesmo tempo, construir sua própria plataforma lhe dará flexibilidade para lidar com esse volume de testes.
• Estão prontos para aplicar abordagens avançadas de aceleração para experimentos. Essas abordagens podem acelerar muito o processo de teste e permitir que você obtenha resultados mais rápidos com métodos como CUPED, CUPAC e testes sequenciais.
• A experimentação está evoluindo rapidamente. Ao construir sua própria plataforma, você pode criar algoritmos de ponta e implementá-los em seus processos, o que pode não ser possível com uma ferramenta de terceiros.
• Precisa ter controle total sobre suas métricas de teste A/B e a sensibilidade das métricas. Se você precisar medir algo único que não seja coberto por métricas comuns, como quantis ou métricas de proporção complexas, criar sua própria plataforma lhe dará a flexibilidade para fazer isso.
• Trabalhe em um setor em que os efeitos de rede (ou alguns outros desafios bastante específicos) desempenham um papel importante. Por exemplo, no negócio de entrega ou rede social, medir o efeito de rede pode ser um desafio sem sua própria plataforma e os algoritmos certos.
• Você reconhece que, às vezes, deve aplicar diferentes métodos estatísticos para diferentes métricas e experimentos. Nem todos os métodos são implementados nas ferramentas de terceiros e às vezes não é possível compará-los nesta ferramenta.

As empresas devem pensar duas vezes antes de embarcar nessa jornada se:

• Não tenha uma cultura orientada a dados. Construir sua própria plataforma de teste A/B será inútil se a empresa não tiver uma compreensão clara do que deseja alcançar com o teste A/B e, portanto, não puder adaptar a plataforma às suas necessidades específicas e não confiar nos dados quando se trata de decisões de negócios.
• Não tem os recursos ou conhecimentos necessários. Desenvolver sua própria plataforma de teste A/B requer recursos significativos, tanto em termos de tempo quanto de dinheiro. A empresa precisará investir na construção e manutenção da plataforma, o que pode ser um custo significativo. Além disso, a empresa precisará ter o conhecimento necessário para construir e manter a plataforma, o que pode ser difícil de conseguir.

Fique atento aos meus próximos artigos, onde eu me aprofundo no âmago da questão de criar sua própria plataforma de experimentação, destacando as principais áreas a serem focadas e as armadilhas comuns a serem evitadas.