Por que a maioria dos projetos de dados falha nas fases iniciais (e como evitá-lo)

Projetos de consultoria em Ciência de Dados e Engenharia de Dados geralmente começam do zero com o objetivo de desenvolver uma Prova de Conceito (PoC) ou um Produto Viável Mínimo (MVP) antes de se comprometer com um investimento substancial em uma solução completa.
No entanto, um número considerável de projetos promissores não consegue avançar além desses estágios iniciais e uma das maiores razões para isso é a má Gestão de Expectativas.
Por que o desenvolvedor trouxe uma escada para a reunião? Para atingir as expectativas da gestão!
Tanto os clientes quanto a gestão interna normalmente têm grandes expectativas para as iniciativas de dados. É um desafio convencer um cliente a prosseguir com um projeto e, uma vez que eles estão a bordo, há um grande interesse em expandir o projeto e trazer outros consultores. Simultaneamente, o cliente quer ver resultados rapidamente. Isso coloca muita pressão sobre os desenvolvedores, levando a possíveis resultados negativos:
- Um MVP é construído, mas a configuração técnica é tão ruim que a construção de uma solução produtiva não é viável ou extremamente cara
- O cliente está insatisfeito porque o resultado não atendeu às suas expectativas
- Os desenvolvedores estão esgotados
- O projeto está atrasado devido a dependências e excede o orçamento
- Na pior das hipóteses, o relacionamento com o cliente é prejudicado, o que pode prejudicar a colaboração futura em outros projetos
1. Delimitar o escopo do projeto no início
Ter expectativas claras e escritas é um seguro e uma oportunidade. Evita que o escopo do projeto se expanda excessivamente, além de demonstrar o comprometimento da equipe caso as expectativas sejam superadas. Essa deve ser uma das primeiras atividades realizadas no início de um projeto, pois define as prioridades e o foco da equipe.
Muitas vezes encontrei situações em que os clientes queriam incorporar fontes de dados adicionais sem compreender as complexidades envolvidas. Embora possa parecer simples, nunca subestime o esforço necessário para reunir, limpar e entregar uma fonte de dados. Além disso, há uma diferença significativa entre simplesmente limpar uma extração de dados para uso de front-end e construir um pipeline para processar os dados de forma contínua e estável.
2. Defina suas próprias expectativas e mantenha as pessoas responsáveis
As contrapartes do lado do cliente muitas vezes não são alocadas 100% ao projeto. Como não é sua principal prioridade, eles podem ignorar entregas críticas para a equipe de desenvolvimento. Lembrá-los e garantir que eles cumpram as expectativas definidas por nós como consultores ajuda a garantir que o projeto seja entregue no prazo.
3. Comunique-se de forma estruturada
Uma abordagem que adotamos em um de meus projetos anteriores era ter 3 tipos de reuniões com as partes interessadas do negócio. Primeiro, realizamos reuniões de atualização de progresso para mostrar nossas conquistas. Em segundo lugar, organizamos discussões para articular claramente os desafios que enfrentamos ou as opções disponíveis, ajudando as partes interessadas a compreender e decidir de forma colaborativa sobre o melhor curso de ação. Em terceiro lugar, nos certificamos de ser direcionados e ter reuniões com seus especialistas internos sobre tópicos em que precisávamos de sua opinião.
O segundo tipo de reunião foi especialmente crucial para o alinhamento de expectativas. Os problemas encontrados pelos cientistas e engenheiros de dados podem parecer enigmáticos para quem está de fora, mas o cliente ainda precisa tomar certas decisões, pois serão eles que usarão a solução. Estabelecer um entendimento claro e manter uma comunicação aberta ajuda a preencher essa lacuna. Alocar tempo para criar uma apresentação concisa ou material semelhante para explicar as opções em termos diretos e as implicações para o produto final.
4. Identifique as dependências desde o início
É essencial reconhecer as dependências, como fontes de dados necessárias, nos estágios iniciais de um projeto. Além de estabelecer conexões técnicas, as aprovações dos proprietários de dados geralmente precisam ser obtidas antes que os dados possam ser integrados em um ambiente de desenvolvimento. Resolver esses problemas o mais rápido possível ajuda a evitar complicações no futuro.
Além disso, é crucial abordar a dependência mais aparente entre front-end e back-end. Por exemplo, se um relatório precisa ser projetado, fornecer um conjunto de dados de simulação o mais rápido possível pode ser benéfico, em vez de esperar que todo o pipeline seja concluído. Essa abordagem proativa permite que a equipe de front-end comece seu trabalho, enquanto a equipe de back-end continua desenvolvendo a infraestrutura necessária.
5. Encontre um equilíbrio entre recursos visualmente atraentes e componentes técnicos essenciais
É importante encontrar um equilíbrio entre focar no back-end técnico e na apresentação do front-end. Concentrar-se apenas no back-end pode tornar difícil para o cliente ver e apreciar o trabalho que está sendo feito. Por outro lado, muita ênfase no front-end pode não permitir uma avaliação adequada se a solução completa é viável ou se a base é insuficiente para a construção.
Concentre-se nos componentes essenciais da solução e certifique-se de que eles funcionem corretamente. O objetivo de um MVP é demonstrar o que é possível, portanto, tenha cuidado ao focar excessivamente em um único aspecto, mesmo que pareça atraente. Simultaneamente, evite juntar código apressadamente sem considerar a necessidade de testes e melhorias futuras. Encontrar o equilíbrio certo resultará em uma solução mais robusta e eficaz que atende às expectativas do cliente.
Conclusão
Por fim, apesar de nossos melhores esforços como desenvolvedores, alguns projetos ainda podem ser descontinuados. É importante reconhecer que vários fatores, como restrições orçamentárias, podem entrar em jogo. Não devemos ser muito duros conosco se demos tudo de nós. Em vez disso, devemos aprender com a experiência e seguir em frente, preparados para enfrentar novos desafios com uma visão positiva.
Simultaneamente, se conseguirmos definir as expectativas corretas durante os estágios de PoC e MVP, estabelecemos uma base sólida para uma solução completa. Gerenciando com eficiência as expectativas e cumprindo as promessas, podemos aumentar a probabilidade de continuidade e sucesso do projeto, beneficiando nossos clientes e nosso crescimento profissional.
Obrigado por ler!