Big Data Analytics - Metodologia

Em termos de metodologia, a análise de big data difere significativamente da abordagem estatística tradicional de design experimental. Analytics começa com dados. Normalmente modelamos os dados de forma a explicar uma resposta. Os objetivos desta abordagem são prever o comportamento da resposta ou compreender como as variáveis ​​de entrada se relacionam com uma resposta. Normalmente em projetos experimentais estatísticos, um experimento é desenvolvido e os dados são recuperados como resultado. Isso permite gerar dados de uma forma que pode ser usada por um modelo estatístico, onde certas premissas são válidas, como independência, normalidade e randomização.

Na análise de big data, os dados são apresentados. Não podemos projetar um experimento que satisfaça nosso modelo estatístico favorito. Em aplicativos de análise em grande escala, uma grande quantidade de trabalho (normalmente 80% do esforço) é necessária apenas para limpar os dados, para que possa ser usada por um modelo de aprendizado de máquina.

Não temos uma metodologia única a seguir em aplicações reais de grande escala. Normalmente, uma vez que o problema de negócio é definido, uma etapa de pesquisa é necessária para projetar a metodologia a ser usada. No entanto, as diretrizes gerais são relevantes para serem mencionadas e se aplicam a quase todos os problemas.

Uma das tarefas mais importantes na análise de big data é statistical modeling, significando classificação supervisionada e não supervisionada ou problemas de regressão. Uma vez que os dados são limpos e pré-processados, disponíveis para modelagem, deve-se tomar cuidado ao avaliar diferentes modelos com métricas de perda razoáveis ​​e, em seguida, uma vez que o modelo seja implementado, avaliações e resultados adicionais devem ser relatados. Uma armadilha comum na modelagem preditiva é apenas implementar o modelo e nunca medir seu desempenho.