O campo de Engenharia de Dados é popular hoje em dia e muitas ferramentas estão disponíveis no mundo de código aberto. Então, primeiro vamos ver os principais processos do pipeline de engenharia de dados e, em seguida, o processo de ferramentas.

Ingestão → Armazenamento → Transformação → Explorar e analisar

Ferramentas de gerenciamento de fluxo de trabalho:

Apache Airflow

Uma estrutura de código aberto para gerenciar fluxos de trabalho para pipelines de engenharia de dados é o Apache Airflow. Em outubro de 2014, o Airbnb o usou como uma forma de lidar com as operações cada vez mais complicadas do negócio.

Leia mais aqui .

luigi

Uma biblioteca Python (2.7, 3.6 e 3.7 testada) chamada Luigi facilita a criação de pipelines complexos de tarefas em lote. Ele gerencia o gerenciamento de fluxo de trabalho, visualização, manipulação de erros, integração de linha de comando e muitas outras coisas.

Leia mais aqui .

Ferramentas de processamento:

Apache Kafka

Um armazenamento distribuído de eventos e uma plataforma de processamento de fluxo é o Apache Kafka. É um sistema de código aberto baseado em Java e Scala criado pela Apache Software Foundation. O projeto visa fornecer uma plataforma unificada, de alto rendimento e baixa latência para lidar com feeds de dados em tempo real.

Leia mais aqui .

Ferramentas de armazenamento:

HDFS

Os aplicativos Hadoop empregam principalmente o HDFS (Hadoop Distributed File System) como sua principal solução de armazenamento. A estrutura de software livre funciona enviando dados rapidamente entre os nós. As empresas que precisam gerenciar e armazenar grandes quantidades de dados frequentemente o empregam.

Leia mais aqui .

Ceph

A plataforma de armazenamento definido por software Ceph de código aberto oferece interfaces 3 em 1 para armazenamento em nível de objeto, bloco e arquivo em um único cluster de computador distribuído.

Leia mais aqui .

Openstack swift

O OpenStack Swift, comumente referido como OpenStack Object Storage, é um software de código aberto feito para lidar com o armazenamento econômico e de longo prazo de grandes volumes de dados em clusters de hardware de servidor comum.

Leia mais aqui .

Ferramentas de transformação:

Apache SparkGenericName

Um mecanismo de análise unificada de código aberto para analisar enormes quantidades de dados é o Apache Spark. Uma interface chamada Spark permite que os clusters sejam programados com paralelismo de dados implícito e tolerância a falhas.

Leia mais aqui .

Apache Beam

Incluindo ETL, lote e processamento de fluxo, o Apache Beam é uma arquitetura de programação unificada de código aberto para definir e executar pipelines de processamento de dados.

Leia mais aqui .

Hadoop mapreduce

Um cluster Hadoop pode escalar massivamente com a ajuda do paradigma de programação MapReduce em centenas ou milhares de máquinas. O núcleo do Apache Hadoop é o MapReduce, que serve como componente de processamento. Os programas Hadoop executam duas tarefas separadas e distintas que são coletivamente chamadas de “MapReduce”.

Leia mais aqui .

Explorar e analisar Ferramentas:

Grafana

Um aplicativo on-line de plataforma cruzada de código aberto para visualização e análise interativa é chamado Grafana. Quando conectado a fontes de dados suportadas, ele oferece tabelas, gráficos e alertas para a web.

Leia mais aqui .

Metabase

Uma ferramenta de inteligência de negócios de código aberto é o Metabase. O Metabase permite que você consulte seus dados e apresente os resultados de maneiras compreensíveis, como um gráfico de barras ou uma tabela completa. Suas consultas podem ser salvas e você pode organizá-las em painéis atraentes.

Leia mais aqui .

Agora chegamos ao fim do nosso blog. Siga-me para mais vídeos relacionados à engenharia de dados.

Calp, se você gosta.