¿Construir o no construir?

Elegir cómo mantener sus experimentos puede ser una tarea tediosa

A medida que el mundo de los negocios se basa cada vez más en los datos, las pruebas A/B se han convertido en una herramienta esencial para las empresas que buscan comprender cómo los cambios en sus productos y sitios web afectarán el negocio. Sin embargo, cuando se trata de pruebas A/B, las empresas deben decidir si crean su propia plataforma o utilizan una herramienta existente de un tercero.

Crear una plataforma de pruebas A/B personalizada puede ser una excelente opción para las empresas que:

• Tiene la necesidad de ejecutar docenas o cientos de experimentos en paralelo. Si su empresa está constantemente probando nuevas ideas y ejecutando múltiples experimentos a la vez, construir su propia plataforma le dará la flexibilidad para manejar ese volumen de pruebas.
• Están listos para aplicar enfoques de aceleración avanzados para experimentos. Estos enfoques pueden acelerar en gran medida el proceso de prueba y permitirle obtener resultados más rápidos con métodos como CUPED, CUPAC y pruebas secuenciales.
• La experimentación está evolucionando rápidamente. Al construir su propia plataforma, puede crear algoritmos de vanguardia e implementarlos en sus procesos, lo que puede no ser posible con una herramienta de terceros.
• Necesita tener control total sobre sus métricas de prueba A/B y la sensibilidad de las métricas. Si necesita medir algo único que no está cubierto por métricas comunes, como cuantiles o métricas de proporciones complejas, crear su propia plataforma le brindará la flexibilidad para hacerlo.
• Trabaje en una industria donde los efectos de red (o algunos otros desafíos bastante específicos) juegan un papel importante. Por ejemplo, en el negocio de entrega a domicilio o de redes sociales, medir el efecto de la red puede ser un desafío sin su propia plataforma y los algoritmos correctos.
• Reconoce que, en ocasiones, debe aplicar diferentes métodos estadísticos para diferentes métricas y experimentos. Lejos de todos los métodos se implementan en las herramientas de terceros y, a veces, no es posible compararlos en esta herramienta.

Las empresas deberían pensarlo dos veces antes de embarcarse en este viaje si:

• No tenga una cultura basada en datos en su lugar. Crear su propia plataforma de pruebas A/B será inútil si la empresa no tiene una comprensión clara de lo que quiere lograr con las pruebas A/B y, por lo tanto, no puede adaptar la plataforma a sus necesidades específicas y no confía en los datos. cuando se trata de decisiones empresariales.
• No tiene los recursos o la experiencia necesarios. Desarrollar su propia plataforma de pruebas A/B requiere recursos significativos, tanto en términos de tiempo como de dinero. La empresa deberá invertir en la construcción y el mantenimiento de la plataforma, lo que puede suponer un coste significativo. Además, la empresa deberá tener la experiencia necesaria para construir y mantener la plataforma, que puede ser difícil de conseguir.

Estén atentos a mis próximos artículos en los que profundizo en el meollo de la creación de su propia plataforma de experimentación, destacando las áreas clave en las que centrarse y las trampas comunes que se deben evitar.