Kullanım durumları ve gerçek zamanlı örneklerle Kafka

May 09 2023

Apache Kafka, yüksek hacimli verileri gerçek zamanlı olarak işlemek için tasarlanmış açık kaynaklı bir dağıtılmış akış platformudur ve bu da onu gerçek zamanlı veri boru hatları, akış uygulamaları ve olay güdümlü mimariler oluşturmak için ideal bir platform haline getirir. Kullanım Durumları: Gerçek Zamanlı Veri Kanalları Kafka'nın en yaygın kullanım durumlarından biri, gerçek zamanlı veri boru hatları oluşturmaktır.

Kullanım Durumları:

Gerçek Zamanlı Veri Ardışık Düzenleri

Kafka'nın en yaygın kullanım durumlarından biri, gerçek zamanlı veri boru hatları oluşturmaktır. Örneğin, Kafka sensörlerden, günlük dosyalarından, sosyal medya platformlarından ve diğer kaynaklardan veri toplamak ve bunları veri ambarlarına, makine öğrenimi platformlarına ve diğer hedeflere aktarmak için kullanılabilir.

Mesajlaşma Sistemleri

Kafka , uygulamalar ve hizmetler arasında hızlı ve verimli mesaj iletimi sağlayan bir mesajlaşma sistemi olarak da kullanılabilir. Örneğin, Kafka sohbet uygulamalarını, e-posta sistemlerini ve diğer gerçek zamanlı iletişim sistemlerini güçlendirmek için kullanılabilir.

Akış İşleme

Kafka'nın Apache Flink ve Apache Spark Streaming gibi akış işleme çerçevelerine verdiği destek, gerçek zamanlı veri işleme ve analizine olanak tanır. Örneğin, Kafka, gerçek zamanlı dolandırıcılık tespit sistemleri, gerçek zamanlı öneri motorları ve gerçek zamanlı duygu analizi sistemleri oluşturmak için kullanılabilir.

Olaya Yönelik Mimari

Kafka'nın olaya dayalı mimari desteği, onu karmaşık, olaya dayalı uygulamalar oluşturmak için ideal bir seçim haline getirir. Kafka ile olaylar gerçek zamanlı olarak üretilebilir, tüketilebilir ve işlenebilir. Örneğin, Kafka , olaya dayalı mikro hizmetler mimarileri, IoT platformları ve diğer olaya dayalı sistemler oluşturmak için kullanılabilir.

Günlük Toplama

Kafka, günlük toplama için de kullanılabilir ve birden çok kaynaktan günlüklerin toplanmasına, depolanmasına ve analizine olanak tanır. Örneğin, Kafka web sunucularından, veritabanlarından ve diğer sistemlerden günlükleri toplamak ve analiz etmek için kullanılabilir.

Kafka'nın temel bileşenleri

Kafka Konusu:

Konu, üreticiler tarafından iletilerin yayınlandığı ve tüketiciler tarafından iletilerin tüketildiği bir veri akışı için mantıksal bir addır.
Bir Kafka konusu, bir Kafka kümesinde depolanan bir veya daha fazla bölüme ayrılmıştır.

Aracı, bir veya daha fazla Kafka bölümünü depolayan ve yöneten tek bir Kafka sunucusu örneğidir. Bir Kafka kümesi, Kafka konularının depolanmasını ve işlenmesini yönetmek için birlikte çalışan bir veya daha fazla aracıdan oluşur.

Üretici ve Tüketici:

Üretici bir kafka konusuna veri üretir. Üreticiler konulara paralel olarak veri yazabilir ve Kafka, verilerin bölümler arasında eşit olarak dağıtılmasını sağlar.
Tüketici, bir veya daha fazla Kafka konusundan veri tüketir. Tüketiciler konulara abone olur ve bölümlerden veri okur. Kafka, bir gruptan yalnızca bir tüketicinin herhangi bir zamanda bir bölümden veri almasını sağlar.

bölümler:

Kafka konuları, değiştirilemez bir sırayla (değiştirilemez) mesajlar içeren bir dizi bölüme ayrılmıştır.
Bir bölümdeki her mesaj, benzersiz ofseti ile atanır ve tanımlanır.
Bir konunun birden çok bölüm günlüğü de olabilir. Bu, birden çok tüketicinin bir konudan paralel olarak okumasına olanak tanır.

Bölümlerdeki mesajların her birine benzersiz (bölüm başına) ve ofset adı verilen sıralı bir kimlik atanır.

Tüketici Grubu:

Tüketici grubu, Kafka konularından veri tüketmek için birlikte çalışan bir veya daha fazla tüketici grubudur.

çoğaltma:

Çoğaltma, verilerin birden çok kopyasını oluşturma işlemidir. Çoğaltma, bir aracı (düğüm) başarısız olursa veya kullanılamaz hale gelirse, o aracıda depolanan verilerin, aynı verilerin bir kopyasına sahip olan diğer aracılardan kurtarılabilmesini sağlar.

Kafka API'leri

Kafka'nın dört temel API'si vardır:

Yapımcı API'si, bir uygulamanın bir veya daha fazla Kafka konusuna bir kayıt akışı yayınlamasına izin verir.

Tüketici API'si, bir uygulamanın bir veya daha fazla konuya abone olmasına ve kayıt akışını işlemesine izin verir.

Akışlar API'si , bir uygulamanın, bir veya daha fazla konudan bir girdi akışı tüketerek ve bir veya daha fazla çıktı konusuna bir çıktı akışı üreterek, girdi akışlarını etkili bir şekilde çıktı akışlarına dönüştürerek bir akış işlemcisi olarak hareket etmesine olanak tanır.

Bağlayıcı API, Kafka konularını mevcut uygulamalara veya veri sistemlerine bağlayan yeniden kullanılabilir üreticiler veya tüketiciler oluşturmaya ve çalıştırmaya olanak tanır. Örneğin, ilişkisel bir veritabanına yönelik bir bağlayıcı, bir tablodaki her değişikliği yakalayabilir.

Kullanım durumları ve gerçek zamanlı örneklerle Kafka