Construire ou ne pas construire ?

Choisir comment maintenir vos expériences peut être une tâche fastidieuse

Alors que le monde des affaires devient de plus en plus axé sur les données, les tests A/B sont devenus un outil essentiel pour les entreprises qui cherchent à comprendre comment les changements apportés à leurs produits et sites Web auront un impact sur l'entreprise. Cependant, en ce qui concerne les tests A/B, les entreprises doivent décider de créer leur propre plate-forme ou d'utiliser un outil existant ou un outil tiers.

La création d'une plateforme de test A/B personnalisée peut être une excellente option pour les entreprises qui :

• Avoir besoin d'exécuter des dizaines ou des centaines d'expériences en parallèle. Si votre entreprise teste constamment de nouvelles idées et exécute plusieurs expériences à la fois, la création de votre propre plate-forme vous donnera la flexibilité nécessaire pour gérer ce volume de tests.
• Sont prêts à appliquer des approches d'accélération avancées pour les expériences. Ces approches peuvent considérablement accélérer le processus de test et vous permettre d'obtenir des résultats plus rapides avec des méthodes telles que CUPED, CUPAC et les tests séquentiels.
• L'expérimentation évolue rapidement. En construisant votre propre plateforme, vous pouvez créer des algorithmes de pointe et les implémenter dans vos processus, ce qui peut ne pas être possible avec un outil tiers.
• Besoin d'avoir un contrôle total sur vos métriques de test A/B et la sensibilité des métriques. Si vous avez besoin de mesurer quelque chose d'unique qui n'est pas couvert par des métriques courantes, telles que des quantiles ou des métriques de ratio complexes, la création de votre propre plate-forme vous donnera la flexibilité de le faire.
• Travaillez dans une industrie où les effets de réseau (ou d'autres défis assez spécifiques) jouent un rôle important. Par exemple, dans le secteur de la livraison ou des réseaux sociaux, évaluer l'effet de réseau peut être difficile sans votre propre plateforme et les bons algorithmes.
• Vous reconnaissez que vous devez parfois appliquer différentes méthodes statistiques pour différentes métriques et expériences. Loin de toutes les méthodes sont implémentées dans les outils tiers et parfois il n'est pas possible de les comparer dans cet outil.

Les entreprises doivent réfléchir à deux fois avant de se lancer dans cette aventure si elles :

• Ne pas avoir une culture axée sur les données en place. Construire votre propre plate-forme de test A/B sera futile si l'entreprise n'a pas une compréhension claire de ce qu'elle veut réaliser avec les tests A/B et ne peut donc pas adapter la plate-forme à ses besoins spécifiques et ne fait pas confiance aux données lorsqu'il s'agit de décisions d'affaires.
• Vous n'avez pas les ressources ou l'expertise nécessaires. Développer sa propre plateforme d'A/B testing nécessite des ressources importantes, tant en termes de temps que d'argent. L'entreprise devra investir dans la construction et la maintenance de la plate-forme, ce qui peut représenter un coût important. De plus, l'entreprise devra disposer de l'expertise nécessaire pour construire et maintenir la plate-forme, ce qui peut être difficile à trouver.

Restez à l'écoute pour mes prochains articles où je plonge dans les détails de la création de votre propre plate-forme d'expérimentation, mettant en évidence les domaines clés sur lesquels se concentrer et les pièges courants à éviter.