Apache Flume - Veri Akışı
Flume, günlük verilerini HDFS'ye taşımak için kullanılan bir çerçevedir. Genellikle olaylar ve günlük verileri günlük sunucuları tarafından oluşturulur ve bu sunucularda çalışan Flume aracıları bulunur. Bu aracılar, verileri veri üreticilerinden alır.
Bu aracılardaki veriler, şu adla bilinen bir ara düğüm tarafından toplanacaktır: Collector. Tıpkı ajanlar gibi, Flume'da birden fazla koleksiyoncu olabilir.
Son olarak, tüm bu toplayıcılardan gelen veriler toplanacak ve HBase veya HDFS gibi merkezi bir mağazaya aktarılacaktır. Aşağıdaki şema, Flume'daki veri akışını açıklamaktadır.
Çok sekmeli Akış
Flume içinde birden fazla temsilci olabilir ve nihai varış noktasına ulaşmadan önce, bir etkinlik birden fazla temsilci aracılığıyla seyahat edebilir. Bu olarak bilinirmulti-hop flow.
Fan-out Akışı
Bir kaynaktan birden çok kanala veri akışı şu şekilde bilinir: fan-out flow. İki çeşittir -
Replicating - Verilerin tüm yapılandırılmış kanallarda kopyalanacağı veri akışı.
Multiplexing - Olayın başlığında belirtilen, verilerin seçilen bir kanala gönderileceği veri akışı.
Fan Giriş Akışı
Verilerin birçok kaynaktan tek bir kanala aktarılacağı veri akışı, fan-in flow.
Arıza İdaresi
Flume'da her olay için iki işlem gerçekleşir: biri gönderen, diğeri alıcıda. Gönderen, olayları alıcıya gönderir. Verileri aldıktan hemen sonra, alıcı kendi işlemini gerçekleştirir ve gönderene bir "alınan" sinyal gönderir. Sinyali aldıktan sonra, gönderen işlemi gerçekleştirir. (Gönderen, alıcıdan bir sinyal alana kadar işlemini gerçekleştirmeyecektir.)