Apache Flume - Pendahuluan
Apa itu Flume?
Apache Flume adalah alat / layanan / mekanisme penyerapan data untuk mengumpulkan dan mengangkut data streaming dalam jumlah besar seperti file log, peristiwa (dll ...) dari berbagai sumber ke penyimpanan data terpusat.
Flume adalah alat yang sangat andal, terdistribusi, dan dapat dikonfigurasi. Ini pada dasarnya dirancang untuk menyalin data streaming (data log) dari berbagai server web ke HDFS.
Aplikasi Flume
Asumsikan aplikasi web e-commerce ingin menganalisis perilaku pelanggan dari wilayah tertentu. Untuk melakukannya, mereka perlu memindahkan data log yang tersedia ke Hadoop untuk dianalisis. Di sini, Apache Flume datang untuk menyelamatkan kita.
Flume digunakan untuk memindahkan data log yang dihasilkan oleh server aplikasi ke HDFS dengan kecepatan yang lebih tinggi.
Keuntungan Flume
Berikut keuntungan menggunakan Flume -
Menggunakan Apache Flume kita dapat menyimpan data ke salah satu toko terpusat (HBase, HDFS).
Ketika tingkat data yang masuk melebihi tingkat di mana data dapat ditulis ke tujuan, Flume bertindak sebagai mediator antara produsen data dan penyimpanan terpusat dan menyediakan aliran data yang stabil di antara mereka.
Flume menyediakan fitur contextual routing.
Transaksi di Flume berbasis saluran di mana dua transaksi (satu pengirim dan satu penerima) dipertahankan untuk setiap pesan. Ini menjamin pengiriman pesan yang andal.
Flume dapat diandalkan, toleran terhadap kesalahan, dapat diskalakan, dapat dikelola, dan dapat disesuaikan.
Fitur Flume
Beberapa fitur penting dari Flume adalah sebagai berikut -
Flume menyerap data log dari beberapa server web ke penyimpanan terpusat (HDFS, HBase) secara efisien.
Dengan Flume, kita bisa mendapatkan data dari beberapa server langsung ke Hadoop.
Bersamaan dengan file log, Flume juga digunakan untuk mengimpor data acara dalam jumlah besar yang dihasilkan oleh situs jejaring sosial seperti Facebook dan Twitter, dan situs web e-niaga seperti Amazon dan Flipkart.
Flume mendukung sekumpulan besar jenis sumber dan tujuan.
Flume mendukung aliran multi-hop, aliran fan-in fan-out, perutean kontekstual, dll.
Flume dapat diskalakan secara horizontal.