Le domaine de l'ingénierie des données est populaire de nos jours et de nombreux outils sont disponibles dans le monde open source. Voyons donc d'abord les processus clés du pipeline d'ingénierie de données, puis les outils en termes de processus.

Ingestion → Stockage → Transformation → Explorer et analyser

Outils de gestion des workflows :

Flux d'air Apache

Apache Airflow est un framework open source pour la gestion des flux de travail pour les pipelines d'ingénierie de données. En octobre 2014, Airbnb l'a utilisé pour gérer les opérations de plus en plus compliquées de l'entreprise.

En savoir plus ici .

Louis

Une bibliothèque Python (testée 2.7, 3.6 et 3.7) appelée Luigi facilite la création de pipelines de tâches par lots complexes. Il gère la gestion du flux de travail, la visualisation, la gestion des erreurs, l'intégration de la ligne de commande et bien d'autres choses.

En savoir plus ici .

Outils d'intégration :

Apache Kafka

Apache Kafka est un magasin d'événements distribué et une plate-forme de traitement de flux. Il s'agit d'un système open source basé sur Java et Scala créé par Apache Software Foundation. Le projet vise à fournir une plate-forme unifiée, à haut débit et à faible latence pour la gestion des flux de données en temps réel.

En savoir plus ici .

Outils de stockage :

HDFS

Les applications Hadoop utilisent principalement HDFS (Hadoop Distributed File System) comme solution de stockage principale. Le framework open source fonctionne en envoyant rapidement des données entre les nœuds. Les entreprises qui doivent gérer et stocker de grandes quantités de données l'utilisent fréquemment.

En savoir plus ici .

Céph

La plate-forme open source de stockage défini par logiciel Ceph offre des interfaces 3 en 1 pour le stockage au niveau des objets, des blocs et des fichiers sur un seul cluster d'ordinateurs distribués.

En savoir plus ici .

Openstack rapide

OpenStack Swift, communément appelé OpenStack Object Storage, est un logiciel open source conçu pour gérer le stockage rentable et à long terme de volumes massifs de données sur des clusters de matériel de serveur commun.

En savoir plus ici .

Outils de transformation :

Apache Étincelle

Apache Spark est un moteur d'analyse unifié open source permettant d'analyser d'énormes quantités de données. Une interface appelée Spark permet de programmer des clusters avec un parallélisme de données implicite et une tolérance aux pannes.

En savoir plus ici .

Faisceau Apache

Comprenant ETL, batch et traitement de flux, Apache Beam est une architecture de programmation unifiée open source pour définir et exécuter des pipelines de traitement de données.

En savoir plus ici .

Hadoop mapreduce

Un cluster Hadoop peut évoluer massivement à l'aide du paradigme de programmation MapReduce sur des centaines ou des milliers de machines. Le cœur d'Apache Hadoop est MapReduce, qui sert de composant de traitement. Les programmes Hadoop effectuent deux tâches séparées et distinctes qui sont collectivement appelées « MapReduce ».

En savoir plus ici .

Explorer et analyser les outils :

Grafana

Une application en ligne open source et multiplateforme pour la visualisation et l'analyse interactives s'appelle Grafana. Lorsqu'il est connecté à des sources de données prises en charge, il propose des tableaux, des graphiques et des alertes pour le Web.

En savoir plus ici .

Métabase

Un outil d'intelligence d'affaires open source est Metabase. La métabase vous permet d'interroger vos données et de présenter les résultats de manière compréhensible, comme un graphique à barres ou un tableau complet. Vos requêtes peuvent être enregistrées et vous pouvez les organiser dans des tableaux de bord attrayants.

En savoir plus ici .

Nous sommes maintenant arrivés à la fin de notre blog. Suivez-moi pour plus de vidéos sur l'ingénierie des données.

Calp si vous l'aimez.