Apache Flume - Giriş
Flume nedir?
Apache Flume, çeşitli kaynaklardan merkezi bir veri deposuna günlük dosyaları, olaylar (vb.) Gibi büyük miktarda veri akışını toplamak ve taşımak için kullanılan bir araç / hizmet / veri alma mekanizmasıdır.
Flume, son derece güvenilir, dağıtılmış ve yapılandırılabilir bir araçtır. Temel olarak akış verilerini (günlük verileri) çeşitli web sunucularından HDFS'ye kopyalamak için tasarlanmıştır.
Flume Uygulamaları
Bir e-ticaret web uygulamasının belirli bir bölgedeki müşteri davranışını analiz etmek istediğini varsayın. Bunu yapmak için, mevcut günlük verilerini analiz için Hadoop'a taşımaları gerekir. Burada, Apache Flume kurtarmaya geliyor.
Flume, uygulama sunucuları tarafından oluşturulan günlük verilerini daha yüksek bir hızda HDFS'ye taşımak için kullanılır.
Flume'un Avantajları
İşte Flume kullanmanın avantajları -
Apache Flume kullanarak, verileri herhangi bir merkezi mağazada (HBase, HDFS) saklayabiliriz.
Gelen verilerin hızı, verilerin hedefe yazılabilme hızını aştığında, Flume, veri üreticileri ile merkezi depolar arasında aracı görevi görür ve aralarında sabit bir veri akışı sağlar.
Flume özelliği sağlar contextual routing.
Flume'deki işlemler, her mesaj için iki işlemin (bir gönderici ve bir alıcı) sürdürüldüğü kanal tabanlıdır. Güvenilir mesaj teslimini garanti eder.
Flume güvenilir, hataya dayanıklı, ölçeklenebilir, yönetilebilir ve özelleştirilebilirdir.
Flume'un Özellikleri
Flume'un dikkate değer özelliklerinden bazıları aşağıdaki gibidir:
Flume, günlük verilerini birden çok web sunucusundan merkezi bir depoya (HDFS, HBase) verimli bir şekilde alır.
Flume'u kullanarak, verileri birden çok sunucudan anında Hadoop'a alabiliriz.
Günlük dosyalarının yanı sıra Flume, Facebook ve Twitter gibi sosyal ağ siteleri ve Amazon ve Flipkart gibi e-ticaret web siteleri tarafından üretilen büyük hacimli olay verilerini içe aktarmak için de kullanılır.
Flume, çok sayıda kaynak ve hedef türünü destekler.
Flume, çoklu sekme akışlarını, fan giriş çıkış akışlarını, bağlamsal yönlendirmeyi vb. Destekler.
Kanal yatay olarak ölçeklenebilir.