Apache Kafka - สถาปัตยกรรมคลัสเตอร์
ดูภาพประกอบต่อไปนี้ แสดงแผนภาพคลัสเตอร์ของคาฟคา
ตารางต่อไปนี้อธิบายส่วนประกอบแต่ละอย่างที่แสดงในแผนภาพด้านบน
| ส. เลขที่ | ส่วนประกอบและคำอธิบาย |
|---|---|
| 1 | Broker โดยทั่วไปคลัสเตอร์ Kafka ประกอบด้วยหลายโบรกเกอร์เพื่อรักษาสมดุลของภาระงาน โบรกเกอร์ Kafka ไร้สัญชาติดังนั้นพวกเขาจึงใช้ ZooKeeper เพื่อรักษาสถานะคลัสเตอร์ของตน อินสแตนซ์โบรกเกอร์ Kafka หนึ่งรายการสามารถรองรับการอ่านและเขียนได้หลายแสนครั้งต่อวินาทีและ bro-ker แต่ละรายสามารถจัดการข้อความ TB ได้โดยไม่ส่งผลกระทบต่อประสิทธิภาพ การเลือกตั้งหัวหน้านายหน้าคาฟคาสามารถทำได้โดย ZooKeeper |
| 2 | ZooKeeper ZooKeeper ใช้สำหรับจัดการและประสานงานนายหน้าคาฟคา บริการ ZooKeeper ส่วนใหญ่จะใช้เพื่อแจ้งให้ผู้ผลิตและผู้บริโภคทราบเกี่ยวกับการมีนายหน้าใหม่ใด ๆ ในระบบ Kafka หรือความล้มเหลวของนายหน้าในระบบ Kafka ตามการแจ้งเตือนที่ได้รับจาก Zookeeper เกี่ยวกับการมีอยู่หรือความล้มเหลวของนายหน้าจากนั้นโปรดูเซอร์และผู้บริโภคจะตัดสินใจและเริ่มประสานงานกับนายหน้ารายอื่น |
| 3 | Producers ผู้ผลิตส่งข้อมูลไปยังโบรกเกอร์ เมื่อนายหน้าใหม่เริ่มต้นผู้ผลิตทั้งหมดจะค้นหาและส่งข้อความไปยังนายหน้าใหม่นั้นโดยอัตโนมัติ ผู้ผลิต Kafka ไม่รอการตอบรับจากนายหน้าและส่งข้อความให้เร็วที่สุดเท่าที่นายหน้าจะจัดการได้ |
| 4 | Consumers เนื่องจากโบรกเกอร์ Kafka เป็นคนไร้สัญชาติซึ่งหมายความว่าผู้บริโภคจะต้องรักษาจำนวนข้อความที่ถูกบริโภคโดยใช้พาร์ติชันออฟเซ็ต หากผู้บริโภครับทราบการชดเชยข้อความใดข้อความหนึ่งแสดงว่าผู้บริโภคใช้ข้อความก่อนหน้านี้หมดแล้ว ผู้บริโภคส่งคำขอดึงแบบอะซิงโครนัสไปยังโบรกเกอร์เพื่อให้มีบัฟเฟอร์ของไบต์ที่พร้อมใช้งาน ผู้บริโภคสามารถย้อนกลับหรือข้ามไปยังจุดใดก็ได้ในพาร์ติชันเพียงแค่ใส่ค่าชดเชย ค่าชดเชยของผู้บริโภคจะแจ้งโดย ZooKeeper |