Bidang Rekayasa Data sangat populer saat ini dan banyak alat tersedia di dunia sumber terbuka. Jadi pertama-tama mari kita lihat proses kunci dari pipa rekayasa data dan kemudian proses alat.

Penyerapan → Penyimpanan → Transformasi → Jelajahi dan analisis

Alat manajemen alur kerja:

Aliran Udara Apache

Kerangka kerja sumber terbuka untuk mengelola alur kerja untuk jalur pipa rekayasa data adalah Apache Airflow. Pada bulan Oktober 2014, Airbnb menggunakannya sebagai cara untuk menangani operasi bisnis yang semakin rumit.

Baca selengkapnya di sini .

Luigi

Pustaka Python (2.7, 3.6, dan 3.7 teruji) yang disebut Luigi membuatnya lebih mudah untuk membuat pipeline tugas batch yang rumit. Ini mengelola manajemen alur kerja, visualisasi, penanganan kesalahan, integrasi baris perintah, dan banyak hal lainnya.

Baca selengkapnya di sini .

Alat Penyerapan:

Apache Kafka

Toko acara terdistribusi dan platform pemrosesan aliran adalah Apache Kafka. Ini adalah sistem sumber terbuka berbasis Java dan Scala yang dibuat oleh Apache Software Foundation. Proyek ini bertujuan untuk menyediakan platform terpadu, throughput tinggi, latensi rendah untuk menangani umpan data real-time.

Baca selengkapnya di sini .

Alat Penyimpanan:

HDFS

Aplikasi Hadoop terutama menggunakan HDFS (Hadoop Distributed File System) sebagai solusi penyimpanan utamanya. Kerangka kerja open source berfungsi dengan mengirimkan data dengan cepat antar node. Perusahaan yang perlu mengelola dan menyimpan data dalam jumlah besar sering menggunakannya.

Baca selengkapnya di sini .

Ceph

Platform penyimpanan yang ditentukan perangkat lunak Ceph sumber terbuka menawarkan antarmuka 3-in-1 untuk penyimpanan tingkat objek, blok, dan file pada satu kluster komputer terdistribusi.

Baca selengkapnya di sini .

Buka tumpukan cepat

OpenStack Swift, biasa disebut sebagai OpenStack Object Storage, adalah perangkat lunak sumber terbuka yang dibuat untuk menangani penyimpanan data dalam jumlah besar dan hemat biaya dalam jangka panjang di seluruh kluster perangkat keras server umum.

Baca selengkapnya di sini .

Alat Transformasi:

Apache Spark

Mesin analitik terpadu sumber terbuka untuk menganalisis data dalam jumlah besar adalah Apache Spark. Antarmuka yang disebut Spark memungkinkan klaster diprogram dengan paralelisme data implisit dan toleransi kesalahan.

Baca selengkapnya di sini .

Balok Apache

Termasuk pemrosesan ETL, batch, dan aliran, Apache Beam adalah arsitektur pemrograman terpadu open source untuk mendefinisikan dan menjalankan pipeline pemrosesan data.

Baca selengkapnya di sini .

Hadoop mapreduce

Cluster Hadoop dapat menskalakan secara masif dengan bantuan paradigma pemrograman MapReduce di ratusan atau ribuan mesin. Inti dari Apache Hadoop adalah MapReduce, yang berfungsi sebagai komponen pemrosesan. Program Hadoop melakukan dua tugas terpisah dan berbeda yang secara kolektif disebut sebagai "MapReduce".

Baca selengkapnya di sini .

Jelajahi dan analisis Alat:

Grafana

Aplikasi online lintas platform open source untuk visualisasi dan analitik interaktif disebut Grafana. Saat terhubung ke sumber data yang didukung, ia menawarkan bagan, grafik, dan peringatan untuk web.

Baca selengkapnya di sini .

Metabase

Alat intelijen bisnis sumber terbuka adalah Metabase. Metabase memungkinkan Anda untuk menanyakan data Anda dan menyajikan hasilnya dengan cara yang dapat dimengerti, seperti bagan batang atau tabel menyeluruh. Permintaan Anda dapat disimpan, dan Anda dapat mengaturnya ke dalam dasbor yang menarik.

Baca selengkapnya di sini .

Sekarang kita telah sampai di akhir blog kita. Ikuti saya untuk video terkait rekayasa data lainnya.

Kalp jika Anda menyukainya.