Apache Kafka - podstawy

Zanim zagłębisz się w Kafkę, musisz zapoznać się z podstawową terminologią, taką jak tematy, brokerzy, producenci i konsumenci. Poniższy diagram ilustruje główne terminologie, a tabela szczegółowo opisuje elementy diagramu.

Na powyższym diagramie temat jest podzielony na trzy partycje. Partycja 1 ma dwa współczynniki przesunięcia 0 i 1. Partycja 2 ma cztery współczynniki przesunięcia 0, 1, 2 i 3. Partycja 3 ma jeden współczynnik przesunięcia 0. Identyfikator repliki jest taki sam jak identyfikator serwera, który ją obsługuje.

Załóżmy, że jeśli współczynnik replikacji tematu jest ustawiony na 3, wówczas Kafka utworzy 3 identyczne repliki każdej partycji i umieści je w klastrze, aby udostępnić je dla wszystkich swoich operacji. Aby zrównoważyć obciążenie w klastrze, każdy broker przechowuje co najmniej jedną z tych partycji. Wielu producentów i konsumentów może jednocześnie publikować i pobierać wiadomości.

S.Nr	Komponenty i opis
1	Topics Strumień wiadomości należących do określonej kategorii nazywany jest tematem. Dane są przechowywane w tematach. Tematy są podzielone na partycje. Dla każdego tematu Kafka utrzymuje minimalną jedną partycję. Każda taka partycja zawiera komunikaty w niezmiennej uporządkowanej kolejności. Partycja jest zaimplementowana jako zestaw plików segmentów o równych rozmiarach.
2	Partition Tematy mogą mieć wiele partycji, więc może obsłużyć dowolną ilość danych.
3	Partition offset Każda wiadomość podzielona na partycje ma unikalny identyfikator sekwencji nazywany offsetem .
4	Replicas of partition Repliki to nic innego jak kopie zapasowe partycji. Repliki nigdy nie odczytują ani nie zapisują danych. Służą do zapobiegania utracie danych.
5	Brokers Brokerzy to prosty system odpowiedzialny za przechowywanie publikowanych danych. Każdy broker może mieć zero lub więcej partycji na temat. Załóżmy, że jeśli w temacie jest N partycji i N liczba brokerów, każdy broker będzie miał jedną partycję. Załóżmy, że w temacie jest N partycji i więcej niż N brokerów (n + m), pierwszy broker N będzie miał jedną partycję, a następny broker M nie będzie miał żadnej partycji dla tego konkretnego tematu. Załóżmy, że w temacie jest N partycji i mniej niż N brokerów (nm), każdy broker będzie miał między sobą jedną lub więcej partycji. Ten scenariusz nie jest zalecany ze względu na nierówny rozkład obciążenia między brokerem.
6	Kafka Cluster Kafka ma więcej niż jednego brokera nazywane klastrem Kafka. Klaster Kafka można rozbudowywać bez przestojów. Te klastry służą do zarządzania trwałością i replikacją danych komunikatów.
7	Producers Producenci są wydawcami wiadomości do co najmniej jednego tematu Kafki. Producenci wysyłają dane do brokerów Kafka. Za każdym razem, gdy producent publikuje wiadomość dla brokera, broker po prostu dołącza wiadomość do ostatniego pliku segmentu. Właściwie wiadomość zostanie dołączona do partycji. Producent może również wysyłać wiadomości do wybranej przez siebie partycji.
8	Consumers Konsumenci czytają dane od brokerów. Konsumenci subskrybują jeden lub więcej tematów i korzystają z opublikowanych wiadomości, pobierając dane od brokerów.
9	Leader Leader to węzeł odpowiedzialny za wszystkie odczyty i zapisy dla danej partycji. Każda partycja ma jeden serwer pełniący rolę lidera.
10	Follower Węzeł, który podąża za instrukcjami lidera, nazywany jest podążającym. Jeśli lider zawiedzie, jeden ze zwolenników automatycznie zostanie nowym liderem. Obserwujący działa jak zwykły konsument, pobiera komunikaty i aktualizuje swój własny magazyn danych.