Несколько недель назад в нашем «Манифесте для информированных о данных » одним из пяти представленных убеждений было знакомство всей компании с метриками, а не аутсорсинг «специалистам по данным».

Сразу же нас засыпали вопросами: действительно ли это имеет значение? Это реалистичное ожидание? Как организация может добиться этого? Итак, в наших следующих нескольких постах мы подробно рассмотрим, как сделать это высокое стремление практичным.

Как и во всем остальном в жизни — будь то люди, языки или обычаи — нет быстрого пути к знакомству; единственный способ — прямое и частое воздействие.

С данными большинство команд понимают это по своей сути — именно поэтому создаются информационные панели и распространяются ссылки, и нам всем напоминают: «Пожалуйста, добавьте это в закладки и почаще проверяйте».

К сожалению, если ваша должность не включает слово data , практика загрузки указанной закладки не часто появляется в верхней части вашего списка дел, даже если вы действительно считаете данные важными! Так начинается великая смертельная спираль информационных панелей — из-за того, что они не используются, их не обслуживают. Поскольку они не обслуживаются, когда вам, наконец, нужно взглянуть на них, они сломаны и бесполезны.

Вот почему команды, информированные о данных, полагаются на другие методы, а не просто на волю, чтобы создать знакомство с данными. Большая тройка — это 1. еженедельные обзоры метрик, 2. еженедельные аналитические отчеты и 3. аналитические обзоры.

В этой части мы рассмотрим одну из самых эффективных практик построения команды, основанной на данных: еженедельный обзор метрик.

Что такое еженедельный обзор показателей?

Еженедельный обзор метрик — это синхронное совещание команды для обзора ключевых метрик масштабируемого продукта после PMF с участием всех членов функциональной группы, т. е. специалистов по управлению проектами, проектирования, проектирования, эксплуатации. Этот тип обзора может (и должен!) проводиться на уровне руководителей, с генеральным директором и руководителями высшего звена, и возвращаться к отдельным продуктовым группам.

Еженедельный обзор метрик должен быть кратким и приятным (подумайте, 5–15 минут, как правило, в начале регулярного собрания команды) и проводиться специалистом по данным, который знакомит группу с ключевыми метриками для вашей коллективной области работы (например, новый пользователь рост, выручка, коэффициенты конверсии, тикеты разрешены).

Группа должна изучить, как изменились ключевые показатели за последние несколько недель, в идеале, просматривая серию линейных графиков временных рядов. Докладчик также может подготовить несколько ключевых сегментов для обзора, например, если определенный тип пользователей, платформа или рынок являются стратегически важными для команды, или если команда запустила что-то, что влияет на конкретный сегмент (например, новая функция в пробный рынок).

Лучше всего провести встречу в легком весе. Подготовка должна быть легкой, в идеале не более 30 минут. Многие отличные обзоры метрик просто начинаются со скриншотов информационных панелей. Человек, работающий с данными, не должен иметь все ответы на кончиках своих пальцев ( почему количество активных пользователей увеличилось две недели назад? ). Можно вернуться с ответом позже.

Каков успешный результат еженедельного обзора метрик?

Обзоры показателей отличаются от обзоров продуктов или совещаний по принятию решений; суть в общем понимании того, как команда продвигается к своим целям, а не в принятии решений или разработке действий.

Это необычное предложение, особенно когда амбициозная команда (по праву!) опасается тратить время на совещания. Прочитав подобную статью и попробовав такой стиль встреч, вы можете задаться вопросом: действительно ли эта встреча помогает нам чего-то добиться? Еженедельный обзор метрик обычно отменяется, его переводят в категорию обновлений по электронной почте или он становится источником длинных списков дополнительных вопросов только для того, чтобы группа почувствовала, что они что-то сделали.

И все же мы утверждаем, что знакомство с влиянием работы команды само по себе является достаточно важной целью, чтобы создать вокруг нее синхронную каденцию. Поскольку мы работаем в командной среде, очень важно иметь общий контекст для разных функций. Идеальным результатом обзора показателей является то, что каждый человек вырабатывает общее понимание следующих вопросов:

1. Как мы справляемся с нашими целями?

Мало что так эффективно концентрирует внимание группы, как наблюдение за диаграммой недельного прогресса, медленно продвигающегося к поставленной цели. Ритуал совместного выполнения этого задания заставляет аудиторию задаться такими вопросами, как «Достижем ли мы своей цели?» . и Оказывает ли наша недавняя работа ожидаемое влияние?, что в конечном итоге ведет к вопросу о Святом Граале: работает ли наша стратегия?

2. Какие рычаги наиболее важны для достижения наших целей?

Если бы было очевидно, что должна делать команда, то успех был бы гарантирован. Увы, мир устроен не так.

Творческая командная работа — это бесконечная беговая дорожка проб и ошибок: придумывайте идеи, которые, как вы предполагаете, приведут к желаемому результату, а затем выполняйте работу, чтобы убедиться, что вы правы. Когда вы принимаете во внимание результаты, вы учитесь оттачивать свои навыки.

Возьмем пример: скажем, мы потратили три месяца на разработку Feature X. После этого мы могли бы принять решение, должны ли мы работать над Xv2 дальше? Простого взгляда на результаты X недостаточно, чтобы ответить на этот вопрос; мы должны рассматривать это относительно других возможностей — как насчет улучшения функций A, B или C? Когда мы тратим время на то, чтобы регулярно размышлять о влиянии нашей работы с помощью обзоров показателей, мы стремимся к более глубокому пониманию того, что на самом деле движет нашим бизнесом.

Иными словами, главное преимущество еженедельных обзоров метрик заключается в том, что каждый в команде улучшит свое мышление о продукте. Например, дизайнер с меньшей вероятностью предложит важную кнопку внизу страницы, если он знает, что CTR снижается примерно в 2 раза по сравнению с верхней частью. Инженер будет более бдительно следить за производительностью при внедрении новой функции, если он знает, что быстрая загрузка является огромным фактором использования.

3. Что нормально?

Каждый бизнес имеет определенный уровень волатильности и сезонности. Например, корпоративные приложения больше используются в будние дни, а в видеоигры больше играют по выходным. Допустим, вы ожидаете, что январь будет хуже для вашего бизнеса, чем декабрь, и, как и предполагалось, вы видите январский спад. Насколько большим должно быть падение, чтобы вы забеспокоились о том, что что-то не так?

Знакомство с нормальными ритмами вашего бизнеса необходимо для того, чтобы быстро определить, когда вам может потребоваться принять меры, потому что что-то не так, или когда в ваших измерениях может быть ошибка. Например, если член команды сообщает, что недавний эксперимент привел к увеличению ключевой метрики X на 20%, но вы знаете, что X чрезвычайно сложно изменить, вы будете подозрительны и будете исследовать дальше. Со временем четкое понимание того, что является нормальным, приводит к лучшему прогнозированию и планированию будущего.

При правильном выполнении практика еженедельных обзоров метрик создает общее понимание прогресса, оттачивает стратегические решения команды и позволяет быстрее обнаруживать проблемы.

Но остерегайтесь одного из секретных убийц метрических обзоров — слишком много дополнительных вопросов.

Чтобы было ясно, задавать вопросы — важная часть знакомства, а хорошие вопросы могут привести к важным новым открытиям. Однако не все вопросы стоят того, чтобы на них ответить. Легко отбарабанить дюжину вопросов только потому, что вы можете, и вы любопытный человек, но вы можете невольно потратить часы работы в погоне за ответами. Вместо этого старайтесь задавать вопросы, которые могут привести к изменению решения.

Хорошая лакмусовая бумажка для того, стоит ли задавать вопрос о данных, заключается в следующем: какова моя оценка самого оптимистичного ответа и что я буду делать, если это реальный ответ? И наоборот, какова моя оценка самого пессимистического ответа и что я буду делать, если это реальный ответ? Если ваши действия по обоим вопросам одинаковы, у вас есть вопрос, на который, вероятно, не стоит отвечать.

В качестве примера рассмотрим вопрос: какова наша страна с наихудшими показателями и насколько она хуже по сравнению со средней страной?

Если ваш пессимистичный ответ: «Честно говоря, я не собираюсь ничего делать с этой информацией, если только она не входит в нашу десятку лучших стран, то заставлять кого-то тратить кучу времени на запрос результата, возможно, не стоит того». (Возможно, лучше задать вопрос: какая из 10 лучших стран демонстрирует худшие результаты в этом квартале? )

Как я могу начать еженедельный обзор показателей?

С практической точки зрения, начать привычку просматривать метрики не всегда легко, потому что вам нужно убедить другие функции, что это стоит их времени. Если вы являетесь представителем данных, начните с обсуждения идеи с человеком, который несет общую ответственность за работу команды и будет наиболее заинтересован в отслеживании прогресса и достижении общей цели. Это может быть генеральный директор, генеральный менеджер (т. е. руководитель операций, руководитель отдела продаж) или руководитель продукта (т. е. продакт-менеджер, ведущий инженер и т. д.)

Если вы сами являетесь непосредственным ответственным лицом, предложите идею обзора метрик с вашим партнером по обработке данных. Если вы оба согласны, то попросите остальную команду взять на себя обязательство попробовать это хотя бы на четверть. Привязка практики к началу уже существующего собрания команды также снижает трения.

Для начала обзор показателей не обязательно должен быть исчерпывающим. Подумайте о том, чтобы начать с 10-минутного интервала раз в две недели. Представитель данных должен быть готов направить повестку дня и напомнить всем о целях на первых сессиях ( Это наша основная целевая метрика… Я показываю вам этот сегмент, потому что… Я показываю вам эту связанную метрику, потому что… ) Используйте первые несколько сеансы, чтобы получить обратную связь о правильном наборе метрик и сокращений для просмотра. Помните: лучше начать с малого и постепенно добавлять, чем перегружать группу просмотром десятков графиков и цифр. Вы всегда можете отправить короткое электронное письмо с кратким изложением того, что обсуждалось, со ссылками для дальнейшего изучения.

Какие еще методы помогают команде эффективно использовать данные?

Следите за продолжением: почему ваша команда должна иметь аналитические отчеты и аналитические обзоры.

Прошлые посты из этой серии :

Манифест для информированных о данных
Слепые, слон и три ошибки в данных

У вас есть другие советы по проведению обзоров метрик?

Мы хотим услышать ваши военные истории и советы по адресу [email protected] .

Эта статья была написана Стэнли Уоттом и Джули Чжо.