Apache Flink - Giriş
Apache Flink, akış verilerini işleyebilen gerçek zamanlı bir işleme çerçevesidir. Yüksek performanslı, ölçeklenebilir ve doğru gerçek zamanlı uygulamalar için açık kaynaklı bir akış işleme çerçevesidir. Gerçek akış modeline sahiptir ve girdi verilerini toplu veya mikro yığın olarak almaz.
Apache Flink, Data Artisans şirketi tarafından kuruldu ve şimdi Apache Flink Community tarafından Apache Lisansı altında geliştiriliyor. Bu topluluğun şu ana kadar 479'dan fazla katılımcısı ve 15500 + komisyonu var.
Apache Flink'te Ekosistem
Aşağıda verilen diyagram, Apache Flink Ekosisteminin farklı katmanlarını göstermektedir -
Depolama
Apache Flink'in verileri okuyabileceği / yazabileceği birçok seçenek vardır. Aşağıda temel bir depolama listesi bulunmaktadır -
- HDFS (Hadoop Dağıtılmış Dosya Sistemi)
- Yerel Dosya Sistemi
- S3
- RDBMS (MySQL, Oracle, MS SQL vb.)
- MongoDB
- HBase
- Apache Kafka
- Apache Flume
Dağıtmak
Apache Fink'i yerel modda, küme modunda veya bulutta dağıtabilirsiniz. Küme modu bağımsız, YARN, MESOS olabilir.
Bulutta Flink, AWS veya GCP'de dağıtılabilir.
Çekirdek
Bu, dağıtılmış işleme, hata toleransı, güvenilirlik, yerel yinelemeli işleme yeteneği ve daha fazlasını sağlayan çalışma zamanı katmanıdır.
API'ler ve Kitaplıklar
Bu, Apache Flink'in en üst katmanı ve en önemli katmanıdır. Toplu işlemle ilgilenen Veri Kümesi API'sine ve akış işlemeyle ilgilenen Datastream API'sine sahiptir. Flink ML (makine öğrenimi için), Gelly (grafik işleme için), SQL için Tablolar gibi başka kütüphaneler de vardır. Bu katman, Apache Flink'e çeşitli yetenekler sağlar.