Apache Kafka - Основы

Прежде чем углубляться в Kafka, вы должны знать основные термины, такие как темы, брокеры, производители и потребители. На следующей схеме показаны основные термины, а в таблице подробно описаны компоненты схемы.

На приведенной выше диаграмме тема разделена на три раздела. Раздел 1 имеет два фактора смещения 0 и 1. Раздел 2 имеет четыре коэффициента смещения 0, 1, 2 и 3. Раздел 3 имеет один коэффициент смещения 0. Идентификатор реплики совпадает с идентификатором сервера, на котором она размещена.

Предположим, что если коэффициент репликации темы установлен на 3, то Kafka создаст 3 идентичные реплики каждого раздела и поместит их в кластер, чтобы сделать их доступными для всех своих операций. Чтобы сбалансировать нагрузку в кластере, каждый брокер хранит один или несколько таких разделов. Несколько производителей и потребителей могут публиковать и получать сообщения одновременно.

S.No	Компоненты и описание
1	Topics Поток сообщений, принадлежащих к определенной категории, называется темой. Данные хранятся в топиках. Темы разбиты на разделы. Для каждой темы у Kafka есть минимум один раздел. Каждый такой раздел содержит сообщения в неизменной упорядоченной последовательности. Раздел реализован как набор файлов сегментов одинакового размера.
2	Partition Темы могут иметь много разделов, поэтому они могут обрабатывать произвольный объем данных.
3	Partition offset Каждое разделенное на разделы сообщение имеет уникальный идентификатор последовательности, называемый смещением .
4	Replicas of partition Реплики - это не что иное, как резервные копии раздела. Реплики никогда не читаются и не записываются. Они используются для предотвращения потери данных.
5	Brokers Брокеры - это простая система, отвечающая за поддержание публикуемых данных. У каждого брокера может быть ноль или более разделов на тему. Предположим, что если в теме N разделов и N брокеров, у каждого брокера будет один раздел. Предположим, что если в теме N разделов и более N брокеров (n + m), у первого брокера N будет один раздел, а у следующего брокера M не будет никакого раздела для этой конкретной темы. Предположим, что если в теме N разделов и менее N брокеров (nm), у каждого брокера будет один или несколько общих разделов между собой. Этот сценарий не рекомендуется из-за неравномерного распределения нагрузки между брокером.
6	Kafka Cluster Kafka имеет более одного брокера, что называется кластером Kafka. Кластер Kafka можно расширить без простоев. Эти кластеры используются для управления сохранением и репликацией данных сообщений.
7	Producers Продюсеры - это издатели сообщений по одной или нескольким темам Kafka. Производители отправляют данные брокерам Kafka. Каждый раз, когда производитель публикует сообщение брокеру, брокер просто добавляет сообщение в последний файл сегмента. Фактически, сообщение будет добавлено к разделу. Производитель также может отправлять сообщения в раздел по своему выбору.
8	Consumers Потребители читают данные от брокеров. Потребители подписываются на одну или несколько тем и используют опубликованные сообщения, получая данные от брокеров.
9	Leader Лидер - это узел, ответственный за все операции чтения и записи для данного раздела. В каждом разделе есть один сервер, выступающий в роли лидера.
10	Follower Узел, который следует инструкциям лидера, называется подчиненным. Если лидер терпит неудачу, один из последователей автоматически становится новым лидером. Последователь действует как обычный потребитель, извлекает сообщения и обновляет собственное хранилище данных.