Il y a quelques semaines, dans notre Manifesto for the Data Informed , l'une des cinq convictions présentées était la familiarité à l'échelle de l'entreprise avec les métriques plutôt que l'externalisation vers des « data people ».

Immédiatement, nous avons été submergés de questions : est-ce vraiment important ? Est-ce une attente réaliste ? Comment une organisation peut-elle y parvenir ? Donc, pour nos prochains articles, nous allons approfondir la façon de rendre cette noble aspiration pratique.

Comme pour toute autre chose dans la vie - que ce soit les gens, les langues ou les coutumes - il n'y a pas de raccourci pour se familiariser ; le seul moyen est une exposition directe et fréquente.

Avec les données, la plupart des équipes comprennent cela de manière inhérente - c'est pourquoi des tableaux de bord sont créés et des liens sont transmis et on nous rappelle à tous de "veuillez les ajouter à vos favoris et les vérifier souvent".

Malheureusement, à moins que le titre de votre poste n'inclue le mot data , la pratique consistant à charger ledit signet n'apparaît pas souvent en haut de votre liste de tâches, même si vous pensez vraiment que les données sont importantes ! Ainsi commence la grande spirale de la mort des tableaux de bord - parce qu'ils ne sont pas utilisés, ils deviennent non entretenus. Parce qu'ils ne sont pas entretenus, lorsque vous avez enfin besoin de les regarder, ils sont cassés et inutiles.

C'est pourquoi les équipes informées par les données s'appuient sur des pratiques autres que la simple volonté de créer une familiarité avec les données. Les trois grands sont 1. les revues hebdomadaires des métriques, 2. les rapports hebdomadaires sur les insights et 3. les revues des insights.

Dans cet article, nous aborderons l'une des pratiques les plus efficaces pour constituer une équipe informée par les données : l'examen hebdomadaire des métriques.

Qu'est-ce qu'un examen hebdomadaire des métriques ?

Un examen hebdomadaire des métriques est une réunion d'équipe synchrone pour examiner les métriques clés d'un produit post-PMF évolutif avec tous les membres de l'équipe fonctionnelle présents - c'est-à-dire PM, ingénierie, conception, opérations. Ce type d'examen peut (et devrait !) se produire au niveau de la direction, avec le PDG et les cadres supérieurs, et revenir aux équipes de produits individuelles.

Un examen hebdomadaire des métriques doit être court et agréable (pensez 5 à 15 minutes, généralement au début d'une réunion d'équipe régulière) et dirigé par la personne responsable des données qui guide le groupe à travers les métriques clés de votre domaine de travail collectif (par exemple, nouvel utilisateur croissance, revenus, taux de conversion, tickets résolus).

Le groupe doit examiner comment les indicateurs clés ont progressé au cours des dernières semaines, idéalement en examinant une série de graphiques linéaires chronologiques. Le présentateur peut également préparer quelques segments clés à examiner, par exemple si un certain type d'utilisateur, de plate-forme ou de marché est stratégiquement important pour l'équipe, ou si l'équipe a lancé quelque chose qui a un impact sur un segment particulier (comme une nouvelle fonctionnalité dans un marché test).

Il est préférable de garder la réunion légère. La préparation doit être facile, idéalement pas plus de 30 minutes. De nombreux excellents examens de métriques commencent simplement par des captures d'écran de tableaux de bord. La personne responsable des données ne devrait pas avoir toutes les réponses à portée de main ( pourquoi le nombre d'utilisateurs actifs a-t-il augmenté il y a deux semaines ? ). C'est bien de revenir avec une réponse plus tard.

Qu'est-ce qu'un résultat positif pour un examen hebdomadaire des métriques ?

Les revues de métriques sont différentes des revues de produits ou des réunions de décision ; le point est une compréhension partagée de la façon dont l'équipe progresse vers ses objectifs, sans prendre de décisions ou créer des éléments d'action.

C'est une proposition inhabituelle, surtout lorsqu'une équipe ambitieuse craint (à juste titre !) de perdre du temps en réunion. Après avoir lu un article comme celui-ci et essayé ce style de réunion, vous vous demandez peut-être : cette réunion nous aide-t-elle réellement à accomplir quelque chose ? Il est courant que l'examen hebdomadaire des métriques soit annulé, rétrogradé à une mise à jour par e-mail ou devienne le lieu de frai pour de longues listes de questions de suivi juste pour que le groupe sente qu'il a fait quelque chose.

Et pourtant, nous soutenons que la familiarité avec l'impact du travail de l'équipe est en soi un objectif suffisamment important pour créer une cadence synchrone autour. Parce que nous travaillons dans un environnement d'équipe, il est essentiel d'avoir un contexte partagé entre différentes fonctions. Le résultat idéal d'un examen des métriques est que chaque personne développe une compréhension commune des questions suivantes :

1. Comment nous en sortons-nous par rapport à nos objectifs ?

Peu de choses concentrent un groupe aussi efficacement que de voir un graphique des progrès d'une semaine à l'autre vers un objectif. Le rituel de faire cela ensemble force la pièce à se confronter à des questions telles que Sommes-nous susceptibles d'atteindre notre objectif ? et Notre travail récent a-t-il l'impact que nous attendions ?, qui aboutit finalement à la question du Saint Graal : notre stratégie fonctionne-t-elle ?

2. Quels sont les leviers les plus importants pour atteindre nos objectifs ?

S'il était évident que ce qu'une équipe doit faire, alors le succès serait garanti. Hélas, ce n'est pas ainsi que le monde fonctionne.

Le travail d'équipe créatif est un tapis roulant infini d'essais et d'erreurs - proposez des idées qui, selon vous, mèneront au résultat souhaité, puis faites le travail pour voir si vous avez raison. Lorsque vous tenez compte des résultats, c'est lorsque vous apprenez à perfectionner vos compétences.

Prenons un exemple : disons que nous avons passé trois mois à livrer la fonctionnalité X. Nous pourrions alors avoir une décision à prendre, devrions-nous travailler sur Xv2 ensuite ? Il ne suffit pas de regarder les résultats de X isolément pour répondre à cette question ; nous devons considérer cela par rapport à d'autres possibilités - qu'en est-il de l'amélioration des fonctionnalités A, B ou C ? Lorsque nous prenons le temps de réfléchir régulièrement à l'impact de notre travail par le biais d'examens métriques, nous progressons vers une connaissance plus riche de ce qui motive réellement notre entreprise.

En d'autres termes, l'un des principaux avantages de la mise en œuvre d'examens hebdomadaires des métriques est que tous les membres de l'équipe amélioreront leur réflexion sur les produits. Par exemple, un designer sera moins enclin à proposer un bouton important en bas de page s'il sait qu'il y a environ 2 fois moins de CTR qu'en haut. Un ingénieur sera plus vigilant quant au maintien de la performance lorsqu'il implémentera une nouvelle fonctionnalité s'il est conscient que le chargement rapide est un énorme moteur d'utilisation.

3. Qu'est-ce qui est normal ?

Chaque entreprise a un certain niveau de volatilité et de saisonnalité. Par exemple, les applications d'entreprise sont davantage utilisées en semaine, tandis que les jeux vidéo sont davantage joués le week-end. Supposons que vous vous attendiez à ce que les mois de janvier soient pires que les mois de décembre pour votre entreprise et, comme prévu, vous constatez une baisse en janvier. Quelle devrait être l'ampleur du plongeon pour que vous craigniez que quelque chose ne va pas ?

La connaissance des rythmes normaux de votre entreprise est essentielle pour identifier rapidement quand vous devrez peut-être agir parce que quelque chose ne va pas, ou quand il est probable qu'il y ait une erreur dans votre mesure. Par exemple, si un membre de l'équipe signale qu'une expérience récente a entraîné une augmentation de 20 % de la métrique clé X, mais que vous savez que X est extrêmement difficile à déplacer, vous seriez méfiant et approfondiriez. Au fil du temps, une bonne compréhension de ce qui est normal conduit à de meilleures prévisions et à une meilleure planification future.

Bien faite, la pratique des examens hebdomadaires des mesures crée une compréhension partagée des progrès, affine les côtelettes stratégiques d'une équipe et permet une détection plus rapide des problèmes.

Mais méfiez-vous de l'un des tueurs secrets des revues de métriques - trop de questions de suivi.

Pour être clair, poser des questions est un élément important de la construction de la familiarité, et de bonnes questions peuvent conduire à de nouvelles découvertes importantes. Cependant, toutes les questions ne valent pas l'effort qu'il faut pour y répondre. Il est facile de poser une douzaine de questions simplement parce que vous le pouvez et que vous êtes une personne curieuse, mais vous pouvez involontairement créer des heures de travail pour rechercher des suivis. Au lieu de cela, essayez de poser des questions susceptibles de conduire à un changement de décision.

Voici un bon test décisif pour savoir si une question de données vaut la peine d'être posée : quelle est mon estimation de la réponse la plus optimiste, et que vais-je faire si c'est la vraie réponse ? À l'inverse, quelle est mon estimation pour la réponse la plus pessimiste, et que vais-je faire si c'est la vraie réponse ? Si vos actions pour les deux questions sont les mêmes, vous avez une question à laquelle il ne vaut probablement pas la peine de répondre.

À titre d'exemple, considérons la question : Quel est notre pays le moins performant et dans quelle mesure le pays est-il moins performant par rapport à un pays moyen ?

Si votre réponse pessimiste est Honnêtement, je ne ferai rien avec cette information à moins qu'il ne s'agisse de l'un de nos 10 meilleurs pays, alors que quelqu'un passe beaucoup de temps à interroger le résultat peut ne pas en valoir la peine. (Une meilleure question pourrait être : quel pays du Top 10 enregistre les pires performances ce trimestre ? )

Comment puis-je démarrer une révision hebdomadaire des métriques ?

En pratique, il n'est pas toujours facile de prendre l'habitude des revues de métriques, car vous devez convaincre d'autres fonctions que cela en vaut la peine. Si vous êtes le représentant des données, commencez par discuter de l'idée avec la personne qui a la responsabilité globale du travail de l'équipe et qui serait la plus intéressée à suivre les progrès et à s'aligner sur un objectif commun. Il peut s'agir du PDG, d'un directeur général (c'est-à-dire le responsable des opérations, le responsable des ventes) ou d'un chef de produit (c'est-à-dire le chef de projet, l'ingénierie, etc.)

Si vous êtes vous-même la personne directement responsable, proposez l'idée d'un examen des métriques avec votre partenaire de données. Si vous êtes tous les deux d'accord, demandez au reste de l'équipe de s'engager à l'essayer pendant au moins un quart. Repousser la pratique au début d'une réunion d'équipe préexistante réduit également les frictions.

Votre examen des métriques n'a pas besoin d'être complètement complet pour commencer. Envisagez de commencer par un créneau de 10 minutes toutes les deux semaines. Le représentant des données doit être prêt à diriger l'ordre du jour et à rappeler à chacun les objectifs des premières sessions ( Ceci est notre métrique d'objectif principal… Je vous montre ce segment parce que… Je vous montre cette métrique connexe parce que… ) Utilisez les premières sessions pour obtenir des commentaires sur le bon ensemble de mesures et de réductions à examiner. N'oubliez pas : il est préférable de commencer petit et d'ajouter au fil du temps plutôt que de submerger le groupe en feuilletant des dizaines de graphiques et de chiffres. Vous pouvez toujours suivre avec un court e-mail résumant ce qui a été discuté, avec des liens pour une exploration plus approfondie.

Quelles autres pratiques aident une équipe à bien utiliser les données ?

Restez à l'écoute pour la suite : pourquoi votre équipe devrait avoir un rapport d'informations et des analyses d'informations.

Articles passés dans cette série :

Manifeste pour les informateurs de données
Les aveugles, l'éléphant et les 3 erreurs de données

Vous avez d'autres conseils à partager sur la réalisation d'excellents examens de métriques ?

Nous voulons entendre vos histoires de guerre et vos conseils à [email protected] .

Cet article a été écrit par Stanley Watt et Julie Zhuo.