Apache Kafka - podstawy
Zanim zagłębisz się w Kafkę, musisz zapoznać się z podstawową terminologią, taką jak tematy, brokerzy, producenci i konsumenci. Poniższy diagram ilustruje główne terminologie, a tabela szczegółowo opisuje elementy diagramu.

Na powyższym diagramie temat jest podzielony na trzy partycje. Partycja 1 ma dwa współczynniki przesunięcia 0 i 1. Partycja 2 ma cztery współczynniki przesunięcia 0, 1, 2 i 3. Partycja 3 ma jeden współczynnik przesunięcia 0. Identyfikator repliki jest taki sam jak identyfikator serwera, który ją obsługuje.
Załóżmy, że jeśli współczynnik replikacji tematu jest ustawiony na 3, wówczas Kafka utworzy 3 identyczne repliki każdej partycji i umieści je w klastrze, aby udostępnić je dla wszystkich swoich operacji. Aby zrównoważyć obciążenie w klastrze, każdy broker przechowuje co najmniej jedną z tych partycji. Wielu producentów i konsumentów może jednocześnie publikować i pobierać wiadomości.
S.Nr | Komponenty i opis |
---|---|
1 | Topics Strumień wiadomości należących do określonej kategorii nazywany jest tematem. Dane są przechowywane w tematach. Tematy są podzielone na partycje. Dla każdego tematu Kafka utrzymuje minimalną jedną partycję. Każda taka partycja zawiera komunikaty w niezmiennej uporządkowanej kolejności. Partycja jest zaimplementowana jako zestaw plików segmentów o równych rozmiarach. |
2 | Partition Tematy mogą mieć wiele partycji, więc może obsłużyć dowolną ilość danych. |
3 |
Partition offset Każda wiadomość podzielona na partycje ma unikalny identyfikator sekwencji nazywany |
4 |
Replicas of partition Repliki to nic innego jak |
5 |
Brokers
|
6 |
Kafka Cluster Kafka ma więcej niż jednego brokera nazywane klastrem Kafka. Klaster Kafka można rozbudowywać bez przestojów. Te klastry służą do zarządzania trwałością i replikacją danych komunikatów. |
7 |
Producers Producenci są wydawcami wiadomości do co najmniej jednego tematu Kafki. Producenci wysyłają dane do brokerów Kafka. Za każdym razem, gdy producent publikuje wiadomość dla brokera, broker po prostu dołącza wiadomość do ostatniego pliku segmentu. Właściwie wiadomość zostanie dołączona do partycji. Producent może również wysyłać wiadomości do wybranej przez siebie partycji. |
8 |
Consumers Konsumenci czytają dane od brokerów. Konsumenci subskrybują jeden lub więcej tematów i korzystają z opublikowanych wiadomości, pobierając dane od brokerów. |
9 |
Leader
|
10 |
Follower Węzeł, który podąża za instrukcjami lidera, nazywany jest podążającym. Jeśli lider zawiedzie, jeden ze zwolenników automatycznie zostanie nowym liderem. Obserwujący działa jak zwykły konsument, pobiera komunikaty i aktualizuje swój własny magazyn danych. |