Hace unas semanas, en nuestro Manifiesto por los datos informados , una de las cinco creencias presentadas fue la familiaridad de toda la empresa con las métricas en lugar de subcontratar a "gente de datos".

Inmediatamente, nos asaltaron preguntas: ¿Esto realmente importa? ¿Es esta una expectativa realista? ¿Cómo puede una organización lograr esto? Entonces, para nuestras próximas publicaciones, profundizaremos en cómo hacer que esta elevada aspiración sea práctica.

Como con cualquier otra cosa en la vida, ya sean personas, idiomas o costumbres, no hay atajos para familiarizarse; la única manera es a través de la exposición directa y frecuente.

Con los datos, la mayoría de los equipos entienden esto de manera inherente; es por eso que se crean paneles y se transmiten enlaces y se nos recuerda a todos que "marquemos y verifiquemos con frecuencia".

Desafortunadamente, a menos que el título de su trabajo incluya la palabra datos , la práctica de cargar dicho marcador no aparece con frecuencia en la parte superior de su lista de tareas pendientes, ¡incluso si realmente cree que los datos son importantes! Así comienza la gran espiral de la muerte de los tableros: debido a que no se usan, no se les da mantenimiento. Debido a que no reciben mantenimiento, cuando finalmente tienes la necesidad de mirarlos, están rotos e inútiles.

Esta es la razón por la que los equipos informados sobre los datos confían en prácticas distintas a la pura voluntad para crear familiaridad con los datos. Los tres grandes son 1. revisiones de métricas semanales, 2. informes de información semanales y 3. revisiones de información.

En esta entrega, abordaremos una de las prácticas más impactantes para crear un equipo informado por los datos: la revisión semanal de métricas.

¿Qué es una revisión de métricas semanales?

Una revisión semanal de métricas es una reunión de equipo sincrónica para revisar las métricas clave para un producto escalable posterior a PMF con todos los miembros funcionales del equipo presentes, es decir, PM, ingeniería, diseño, operaciones. Este tipo de revisión puede (¡y debe!) ocurrir a nivel ejecutivo, con el CEO y los ejecutivos de nivel C, y recurrir a equipos de productos individuales.

Una revisión semanal de métricas debe ser corta y agradable (piense en 5 a 15 minutos, generalmente al comienzo de una reunión de equipo regular) y dirigida por la persona de datos que guía al grupo a través de las métricas clave para su área de trabajo colectiva (por ejemplo, nuevo usuario crecimiento, ingresos, tasas de conversión, tickets resueltos).

El grupo debe examinar cómo han progresado las métricas clave en las últimas semanas, idealmente observando una serie de gráficos de líneas de series temporales. El presentador también puede preparar algunos segmentos clave para revisar, por ejemplo, si cierto tipo de usuario, plataforma o mercado es estratégicamente importante para el equipo, o si el equipo ha lanzado algo que impacta en un segmento en particular (como una nueva característica en un mercado de prueba).

Es mejor mantener la reunión ligera. La preparación debe ser fácil, idealmente no más de 30 minutos. Muchas revisiones de métricas excelentes simplemente comienzan con capturas de pantalla de paneles. La persona de datos no debería tener que tener todas las respuestas al alcance de la mano ( ¿por qué aumentaron los usuarios activos hace dos semanas? ). Está bien regresar con una respuesta más tarde.

¿Qué es un resultado exitoso para una revisión de métricas semanal?

Las revisiones de métricas son diferentes a las revisiones de productos o reuniones de decisión; el punto es una comprensión compartida de cómo el equipo está progresando hacia sus objetivos, no tomando decisiones o creando elementos de acción.

Esta es una propuesta inusual, especialmente cuando un equipo ambicioso (¡con razón!) desconfía de perder el tiempo en las reuniones. Después de leer un artículo como este y probar este estilo de reunión, es posible que se pregunte: ¿Esta reunión realmente nos está ayudando a lograr algo? Es común que la revisión semanal de métricas se cancele, se degrade a una actualización por correo electrónico o se convierta en el caldo de cultivo de largas listas de preguntas de seguimiento solo para que el grupo sienta que hizo algo.

Y, sin embargo, argumentamos que la familiaridad con el impacto del trabajo del equipo es en sí mismo un objetivo lo suficientemente importante como para crear una cadencia sincrónica. Debido a que trabajamos en un entorno de equipo, es fundamental tener un contexto compartido entre diferentes funciones. El resultado ideal de una revisión de métricas es que cada persona desarrolle una comprensión compartida de las siguientes preguntas:

1. ¿Cómo nos va en contra de nuestras metas?

Pocas cosas enfocan a un grupo tan efectivamente como ver un gráfico de progreso semana tras semana avanzando poco a poco hacia un objetivo. El ritual de hacer esto juntos fuerza a la sala a confrontar preguntas como ¿Es probable que alcancemos nuestra meta? y ¿Nuestro trabajo reciente está teniendo el impacto que esperábamos?, que en última instancia conduce a la pregunta del Santo Grial: ¿Está funcionando nuestra estrategia?

2. ¿Qué palancas son las más importantes para alcanzar nuestras metas?

Si fuera obvio lo que debe hacer un equipo, entonces el éxito estaría garantizado. Por desgracia, así no es como funciona el mundo.

El trabajo en equipo creativo es una rueda de ardilla infinita de prueba y error: proponga ideas que, según su hipótesis, conducirán al resultado deseado, luego haga el trabajo para ver si tiene razón. Cuando tienes en cuenta los resultados es cuando aprendes a afinar tus habilidades.

Tomemos un ejemplo: digamos que pasamos tres meses enviando la Característica X. Entonces podríamos tener que tomar una decisión, ¿deberíamos trabajar en Xv2 a continuación? Simplemente mirar los resultados de X de forma aislada no es suficiente para responder a esta pregunta; debemos considerar esto en relación con otras posibilidades: ¿qué pasa con la mejora de las características A, B o C? Cuando nos tomamos el tiempo para reflexionar regularmente sobre el impacto de nuestro trabajo a través de revisiones de métricas, desarrollamos un conocimiento más rico de lo que realmente impulsa nuestro negocio.

Dicho de otra manera, un beneficio importante de implementar revisiones de métricas semanales es que todos los miembros del equipo mejorarán su pensamiento sobre el producto. Por ejemplo, es menos probable que un diseñador proponga un botón importante en la parte inferior de la página si sabe que el CTR se reduce aproximadamente al doble en comparación con la parte superior. Una ingeniera estará más atenta a mantener la línea en el rendimiento cuando implementa una nueva función si es consciente de que la carga rápida es un gran impulsor del uso.

3. ¿Qué es normal?

Cada negocio tiene cierto nivel de volatilidad y estacionalidad. Por ejemplo, las aplicaciones empresariales se usan más entre semana, mientras que los videojuegos se juegan más los fines de semana. Supongamos que espera que los meses de enero sean peores que los de diciembre para su empresa y, como se predijo, ve una caída en enero. ¿Qué tan grande tendría que ser la caída para que te preocupes de que algo anda mal?

La familiaridad con los ritmos normales de su negocio es esencial para identificar rápidamente cuándo es posible que deba tomar medidas porque algo anda mal o cuándo es probable que haya un error en su medición. Por ejemplo, si un miembro del equipo informa que un experimento reciente condujo a un aumento del 20 % en la métrica clave X, pero usted sabe que X es extremadamente difícil de mover, sospecharía e investigaría más. Con el tiempo, una comprensión bien afinada de lo que es normal conduce a una mejor previsión y planificación futura.

Si se hace bien, la práctica de las revisiones de métricas semanales crea una comprensión compartida del progreso, perfecciona las habilidades estratégicas de un equipo y permite una detección más rápida de los problemas.

Pero tenga cuidado con uno de los asesinos secretos de las revisiones de métricas: demasiadas preguntas de seguimiento.

Para ser claros, hacer preguntas es una parte importante de la familiaridad, y las buenas preguntas pueden llevar a nuevos descubrimientos importantes. Sin embargo, no todas las preguntas valen el esfuerzo que implica responderlas. Es fácil recitar una docena de preguntas solo porque puedes y eres una persona curiosa, pero es posible que, sin saberlo, estés creando horas de trabajo buscando seguimientos. En su lugar, intente hacer preguntas que probablemente conduzcan a un cambio en la decisión.

Una buena prueba de fuego para saber si vale la pena hacer una pregunta de datos es la siguiente: ¿Cuál es mi estimación para la respuesta más optimista y qué haré si esa es la respuesta real? Por el contrario, ¿cuál es mi estimación para la respuesta más pesimista y qué haré si esa es la respuesta real? Si sus acciones para ambas preguntas son las mismas, tiene una pregunta que probablemente no valga la pena responder.

Como ejemplo, considere la pregunta: ¿Cuál es nuestro país con peor desempeño y cuánto peor lo está haciendo en comparación con un país promedio?

Si su respuesta pesimista es Honestamente, no voy a hacer nada con esta información a menos que sea uno de nuestros 10 países principales, entonces puede que no valga la pena que alguien dedique mucho tiempo a consultar el resultado. (Una mejor pregunta podría ser: ¿Qué país del Top 10 está teniendo el peor desempeño este trimestre? )

¿Cómo puedo iniciar una revisión de métricas semanales?

Hablando en términos prácticos, comenzar el hábito de las revisiones de métricas no siempre es fácil, porque necesita convencer a otras funciones de que vale la pena su tiempo. Si usted es el representante de datos, comience discutiendo la idea con la persona que tiene la responsabilidad general del trabajo del equipo y que estaría más interesada en realizar un seguimiento del progreso y alinearse hacia un objetivo común. Podría ser el director ejecutivo, un gerente general (es decir, jefe de operaciones, jefe de ventas) o un líder de producto (es decir, PM, líder de ingeniería, etc.)

Si usted mismo es la persona directamente responsable, proponga la idea de una revisión de métricas con su socio de datos. Si ambos están de acuerdo, pídale al resto del equipo que se comprometa a intentarlo durante al menos una cuarta parte. Llevar la práctica al comienzo de una reunión de equipo preexistente también reduce la fricción.

Su revisión de métricas no tiene que ser completamente exhaustiva para comenzar. Considere comenzar con un espacio de 10 minutos cada dos semanas. El representante de datos debe estar preparado para dirigir la agenda y recordarles a todos los objetivos en las primeras sesiones ( Esta es nuestra principal métrica de objetivos... Les estoy mostrando este segmento porque... Les estoy mostrando esta métrica relacionada porque... ) Utilice las primeras sesiones para obtener comentarios sobre el conjunto correcto de métricas y cortes para mirar. Recuerde: es mejor comenzar poco a poco y agregar con el tiempo que abrumar al grupo hojeando docenas de gráficos y números. Siempre puede hacer un seguimiento con un breve correo electrónico que resuma lo que se discutió, con enlaces para una mayor exploración.

¿Qué otras prácticas ayudan a un equipo a usar bien los datos?

Estén atentos a la continuación: por qué su equipo debería tener informes de perspectivas y revisiones de perspectivas.

Publicaciones anteriores de esta serie :

Manifiesto por los datos informados
Los ciegos, el elefante y los 3 errores de datos

¿Tienes otros consejos para compartir sobre cómo realizar excelentes revisiones de métricas?

Queremos escuchar sus historias de guerra y sus consejos en [email protected] .

Este artículo fue escrito por Stanley Watt y Julie Zhuo.