O mito da “intuição do produto”

David Sacks, VC e empresário de software, escreveu recentemente no Twitter que “um grama de intuição de produto vale um quilo de teste A/B”. Eu não poderia discordar mais.

Há um mito generalizado de que é possível determinar cognitivamente em um silo o que os usuários desejam. Embora seja certamente possível ao construir produtos desenvolver reconhecimento de padrões, a ideia de que a intuição por si só pode substituir o teste A/B ou outras formas de validação orientada por dados é equivocada.

Quando dirigi a equipe de ciência e análise de dados de produtos no Hulu, minha equipe foi incumbida de avaliar o impacto de um grande redesenho de aplicativo em 2020. Todos os líderes de produto da empresa, inclusive eu, concordaram que o redesenho era óbvio. Entrevistas com usuários validaram a necessidade. Os conjuntos de slides eram atraentes. As simulações de UX pareciam incríveis. A lógica fazia sentido. Todos concordaram que tínhamos uma grande “intuição” e que seríamos recompensados ​​com uma base de clientes mais feliz e engajada após o redesenho.

Infelizmente, as métricas despencaram quando passamos por um teste A/B. Sem essa validação baseada em dados, teríamos continuado pensando que tínhamos uma grande intuição.

Então, por que os líderes de produto mantêm a convicção de que a intuição é suficiente?

1. Medo de provar que está errado. É fácil estar certo se você não consegue medir o impacto de suas iniciativas. Prefiro ser um gerente de produto que possa contar uma história de que todas as minhas iniciativas são bem-sucedidas. Eu serei celebrado. Eu serei promovido. Nenhum será o mais sábio.
2. A crença de que o teste A/B (ou outra validação de dados) é uma perda de tempo. Estudos mostram que apenas 10 a 20% dos experimentos em grandes empresas de tecnologia geram uma mudança positiva estatisticamente significativa nas métricas. Sem validação de dados, os 80% restantes dos recursos são lançados mais rapidamente. Ótimo - agora estamos ampliando os recursos e os mantendo indefinidamente como dívida de tecnologia, mesmo que tenham um impacto negativo! Tão feliz que nos mudamos rápido!
3. Ego. Se os gerentes de produto não são altamente recompensados ​​por sua incrível intuição, pelo que os estamos pagando? Para ser claro, acho que os gerentes de produto podem agregar imenso valor, mas a intuição não é sua razão de ser.

O que constrói um bom reconhecimento de padrão de produto é a validação e a experimentação. Sem medição, não há como saber se a intuição de alguém está certa, como aprendemos da maneira mais difícil no Hulu. Em vez de focar na contratação de pessoas com grande intuição de produto , concentre-se na contratação de pessoas que se destacam na validação do produto. As organizações que podem criar hipóteses fortes e têm os processos e a disciplina para testar e iterar rapidamente impulsionarão mais suas métricas.

Pense desta forma: vamos supor que a intuição do produto seja definida como a porcentagem de recursos enviados que criam um impacto positivo significativo. Em termos de quantos recursos de impacto positivo são enviados, dobrar a precisão da intuição do produto tem exatamente o mesmo efeito que dobrar a velocidade da validação do produto.

Então, como alguém se torna melhor e mais rápido na validação do produto ?

1. Basear hipóteses no entendimento do usuário. Os usuários devem solicitar esse recurso, você pode ver a oportunidade nos dados de comportamento do usuário ou sabe que lançamentos de recursos semelhantes alteraram as métricas de maneira benéfica.
2. Declare sua hipótese em termos de uma métrica que importa. Você deve ser capaz de escrever em inglês simples como esse recurso do produto induzirá um comportamento que impulsionará uma métrica significativa.
3. Utilize uma estrutura de avaliação e automatize esse processo. Você deve ter um critério de decisão claro para liberar um recurso. Embora o teste A/B seja o padrão-ouro para avaliar alterações de produtos, pode não ser a melhor escolha para todos os tipos de produtos. Em vez disso, aproveite a inferência causal, feedback direto do cliente ou análises pré-pós, conforme apropriado. O mais importante é chegar a um critério de decisão claro que, se não for aprovado, significa que o recurso não será lançado.