現在、データ エンジニアリング分野は人気があり、オープン ソースの世界では多くのツールが利用できます。まず、データ エンジニアリング パイプラインの主要なプロセスを見てから、ツールのプロセスについて見ていきましょう。

取り込み → ストレージ → 変換 → 探索と分析

ワークフロー管理ツール:

アパッチエアフロー

データ エンジニアリング パイプラインのワークフローを管理するためのオープンソース フレームワークは、Apache Airflow です。2014 年 10 月、Airbnb は、ますます複雑化するビジネス オペレーションを処理する方法としてそれを使用しました。

詳細はこちらをご覧ください。

ルイージ

Luigi と呼ばれる Python (2.7、3.6、および 3.7 でテスト済み) ライブラリを使用すると、複雑なバッチ タスク パイプラインを簡単に作成できます。ワークフロー管理、視覚化、エラー処理、コマンド ライン統合、および他の多くのことを管理します。

詳細はこちらをご覧ください。

取り込みツール:

アパッチ・カフカ

分散イベント ストアおよびストリーム処理プラットフォームは Apache Kafka です。これは、Apache Software Foundation によって作成された Java および Scala ベースのオープンソース システムです。このプロジェクトは、リアルタイムのデータ フィードを処理するための、高スループットで低遅延の統合プラットフォームを提供することを目的としています。

詳細はこちらをご覧ください。

ストレージ ツール:

HDFS

Hadoop アプリケーションは、主要なストレージ ソリューションとして主に HDFS (Hadoop Distributed File System) を採用しています。オープン ソース フレームワークは、ノード間でデータを迅速に送信することで機能します。大量のデータを管理および保存する必要がある企業は、これを頻繁に採用しています。

詳細はこちらをご覧ください。

セフ

オープンソースの Ceph Software-Defined Storage プラットフォームは、単一の分散コンピューター クラスター上で、オブジェクト、ブロック、およびファイル レベルのストレージに 3-in-1 インターフェイスを提供します。

詳細はこちらをご覧ください。

Openstack スイフト

一般に OpenStack Object Storage と呼ばれる OpenStack Swift は、一般的なサーバー ハードウェアのクラスター全体で大量のデータを長期間、費用対効果の高いストレージで処理するために作成されたオープン ソース ソフトウェアです。

詳細はこちらをご覧ください。

変換ツール:

アパッチスパーク

膨大な量のデータを分析するためのオープンソースの統合分析エンジンは、Apache Spark です。Spark と呼ばれるインターフェースを使用すると、暗黙的なデータ並列処理とフォールト トレランスを使用してクラスターをプログラムできます。

詳細はこちらをご覧ください。

アパッチビーム

ETL、バッチ、およびストリーム処理を含む Apache Beam は、データ処理パイプラインを定義および実行するためのオープン ソースの統合プログラミング アーキテクチャです。

詳細はこちらをご覧ください。

Hadoop mapreduce

Hadoop クラスターは、MapReduce プログラミング パラダイムの助けを借りて、数百または数千のマシンにわたって大規模にスケーリングできます。Apache Hadoop のコアは、処理コンポーネントとして機能する MapReduce です。Hadoop プログラムは、まとめて「MapReduce」と呼ばれる 2 つの別個の異なるタスクを実行します。

詳細はこちらをご覧ください。

ツールの探索と分析:

グラファナ

インタラクティブな視覚化と分析のためのオープン ソースのクロスプラットフォーム オンライン アプリケーションは、Grafana と呼ばれます。サポートされているデータ ソースに接続すると、Web 用のチャート、グラフ、およびアラートが提供されます。

詳細はこちらをご覧ください。

メタベース

オープンソースのビジネス インテリジェンス ツールは Metabase です。メタベースを使用すると、データのクエリを実行し、棒グラフや完全な表などのわかりやすい方法で結果を表示できます。クエリは保存でき、魅力的なダッシュボードに整理できます。

詳細はこちらをご覧ください。

これで当ブログも終わりです。データ エンジニアリング関連のビデオについては、私をフォローしてください。

お好みでカープ。