El campo de la ingeniería de datos es popular hoy en día y hay muchas herramientas disponibles en el mundo del código abierto. Entonces, primero veamos los procesos clave de la tubería de ingeniería de datos y luego las herramientas procesan sabiamente.

Ingestión → Almacenamiento → Transformación → Explorar y analizar

Herramientas de gestión del flujo de trabajo:

flujo de aire apache

Un marco de código abierto para administrar flujos de trabajo para canalizaciones de ingeniería de datos es Apache Airflow. En octubre de 2014, Airbnb lo utilizó como una forma de manejar las operaciones cada vez más complicadas del negocio.

Lea más aquí .

Luigi

Una biblioteca de Python (2.7, 3.6 y 3.7 probada) llamada Luigi facilita la creación de canalizaciones de tareas por lotes complejas. Gestiona la gestión del flujo de trabajo, la visualización, el manejo de errores, la integración de la línea de comandos y muchas otras cosas.

Lea más aquí .

Herramientas de ingestión:

apache kafka

Una plataforma distribuida de almacenamiento de eventos y procesamiento de transmisiones es Apache Kafka. Es un sistema de código abierto basado en Java y Scala creado por Apache Software Foundation. El proyecto tiene como objetivo proporcionar una plataforma unificada, de alto rendimiento y baja latencia para manejar fuentes de datos en tiempo real.

Lea más aquí .

Herramientas de almacenamiento:

HDFS

Las aplicaciones de Hadoop emplean principalmente HDFS (Sistema de archivos distribuidos de Hadoop) como su solución de almacenamiento principal. El marco de código abierto funciona enviando datos rápidamente entre nodos. Las empresas que necesitan administrar y almacenar grandes cantidades de datos lo emplean con frecuencia.

Lea más aquí .

cefalograma

La plataforma de almacenamiento definido por software Ceph de código abierto ofrece interfaces 3 en 1 para almacenamiento a nivel de objeto, bloque y archivo en un solo clúster de computadoras distribuidas.

Lea más aquí .

OpenStack rápido

OpenStack Swift, comúnmente conocido como OpenStack Object Storage, es un software de código abierto creado para manejar el almacenamiento rentable y a largo plazo de volúmenes masivos de datos en clústeres de hardware de servidor común.

Lea más aquí .

Herramientas de transformación:

chispa apache

Un motor de análisis unificado de código abierto para analizar enormes cantidades de datos es Apache Spark. Una interfaz llamada Spark permite que los clústeres se programen con paralelismo de datos implícito y tolerancia a fallas.

Lea más aquí .

Haz Apache

Apache Beam es una arquitectura de programación unificada de código abierto que incluye procesamiento ETL, por lotes y de transmisión para definir y ejecutar canalizaciones de procesamiento de datos.

Lea más aquí .

Mapa de reducción de Hadoop

Un clúster de Hadoop puede escalar masivamente con la ayuda del paradigma de programación MapReduce en cientos o miles de máquinas. El núcleo de Apache Hadoop es MapReduce, que sirve como componente de procesamiento. Los programas de Hadoop realizan dos tareas separadas y distintas que en conjunto se denominan "MapReduce".

Lea más aquí .

Explorar y analizar Herramientas:

Grafana

Una aplicación en línea multiplataforma de código abierto para visualización y análisis interactivos se llama Grafana. Cuando se conecta a fuentes de datos compatibles, ofrece tablas, gráficos y alertas para la web.

Lea más aquí .

metabase

Una herramienta de inteligencia empresarial de código abierto es Metabase. Metabase le permite consultar sus datos y presenta los resultados de manera comprensible, como un gráfico de barras o una tabla completa. Sus consultas se pueden guardar y puede organizarlas en paneles atractivos.

Lea más aquí .

Ahora hemos llegado al final de nuestro blog. Sígueme para ver más videos relacionados con la ingeniería de datos.

Calpe si te gusta.