Agile Data Science - Processamento de dados em Agile
Neste capítulo, vamos nos concentrar na diferença entre dados estruturados, semiestruturados e não estruturados.
Dados estruturados
Os dados estruturados referem-se aos dados armazenados no formato SQL em tabela com linhas e colunas. Inclui uma chave relacional, que é mapeada em campos predefinidos. Os dados estruturados são usados em uma escala maior.
Os dados estruturados representam apenas 5 a 10 por cento de todos os dados de informática.
Dados semiestruturados
Os dados semiestruturados incluem dados que não residem no banco de dados relacional. Eles incluem algumas propriedades organizacionais que facilitam a análise. Inclui o mesmo processo para armazená-los no banco de dados relacional. Os exemplos de banco de dados semiestruturado são arquivos CSV, documentos XML e JSON. Os bancos de dados NoSQL são considerados semiestruturados.
Dados não estruturados
Os dados não estruturados representam 80 por cento dos dados. Geralmente inclui conteúdo de texto e multimídia. Os melhores exemplos de dados não estruturados incluem arquivos de áudio, apresentações e páginas da web. Os exemplos de dados não estruturados gerados por máquina são imagens de satélite, dados científicos, fotografias e vídeo, dados de radar e sonar.
A estrutura da pirâmide acima se concentra especificamente na quantidade de dados e na proporção na qual eles estão espalhados.
Os dados quase estruturados aparecem como tipo entre dados não estruturados e semiestruturados. Neste tutorial, vamos nos concentrar em dados semiestruturados, o que é benéfico para metodologia ágil e pesquisa de ciência de dados.
Os dados semiestruturados não possuem um modelo formal de dados, mas apresentam um padrão e uma estrutura autodescritos aparentes que são desenvolvidos por sua análise.