अपाचे काफ्का - बुनियादी बातों
काफ्का में गहराई से जाने से पहले, आपको मुख्य शब्दावली जैसे विषय, दलाल, निर्माता और उपभोक्ता के बारे में पता होना चाहिए। निम्नलिखित आरेख मुख्य शब्दावली को दिखाता है और तालिका आरेख घटकों का विस्तार से वर्णन करती है।
उपरोक्त आरेख में, एक विषय को तीन विभाजनों में कॉन्फ़िगर किया गया है। विभाजन 1 में दो ऑफसेट कारक 0 और 1. विभाजन 2 में चार ऑफसेट कारक 0, 1, 2 और 3 हैं। विभाजन 3 में एक ऑफसेट कारक 0. है। प्रतिकृति की आईडी उसी सर्वर की आईडी के समान है जो इसे होस्ट करता है।
मान लें, यदि विषय का प्रतिकृति कारक 3 पर सेट है, तो काफ्का प्रत्येक विभाजन के 3 समान प्रतिकृतियां बनाएगा और उन्हें क्लस्टर में अपने सभी कार्यों के लिए उपलब्ध कराएगा। क्लस्टर में लोड को संतुलित करने के लिए, प्रत्येक ब्रोकर उन विभाजनों में से एक या अधिक को संग्रहीत करता है। एक ही समय में कई निर्माता और उपभोक्ता संदेशों को प्रकाशित और पुनः प्राप्त कर सकते हैं।
S.No | अवयव और विवरण |
---|---|
1 | Topics किसी विशेष श्रेणी से संबंधित संदेशों की एक धारा को एक विषय कहा जाता है। डेटा विषयों में संग्रहीत किया जाता है। विषय विभाजन में विभाजित हैं। प्रत्येक विषय के लिए, काफ्का एक विभाजन का एक मिनी-मम रखता है। इस तरह के प्रत्येक विभाजन में अपरिवर्तनीय क्रम में संदेश होते हैं। एक विभाजन समान आकार के खंड फ़ाइलों के एक सेट के रूप में कार्यान्वित किया जाता है। |
2 | Partition विषयों में कई विभाजन हो सकते हैं, इसलिए यह डेटा की एक मनमानी मात्रा को संभाल सकता है। |
3 | Partition offset प्रत्येक विभाजित संदेश में एक अद्वितीय अनुक्रम आईडी है जिसे |
4 | Replicas of partition प्रतिकृतियां एक विभाजन के |
5 | Brokers
|
6 | Kafka Cluster काफ्का के एक से अधिक दलाल होने को काफ्का क्लस्टर कहा जाता है। एक काफ्का क्लस्टर को डाउनटाइम के बिना विस्तारित किया जा सकता है। ये क्लस्टर संदेश डेटा की दृढ़ता और प्रतिकृति का प्रबंधन करने के लिए उपयोग किए जाते हैं। |
7 | Producers निर्माता एक या अधिक काफ्का विषयों के संदेशों के प्रकाशक हैं। निर्माता कफका दलालों को डेटा भेजते हैं। जब भी कोई निर्माता किसी दलाल को संदेश देता है, तो दलाल संदेश को अंतिम सेगमेंट फ़ाइल में भेजता है। दरअसल, मैसेज को एक पार्टीशन में जोड़ा जाएगा। निर्माता अपनी पसंद के विभाजन के लिए संदेश भी भेज सकते हैं। |
8 | Consumers उपभोक्ता दलालों से डेटा पढ़ते हैं। उपभोक्ता एक या अधिक विषयों की सदस्यता लेते हैं और दलालों के डेटा को खींचकर प्रकाशित संदेशों का उपभोग करते हैं। |
9 | Leader
|
10 | Follower नेता निर्देशों का पालन करने वाले नोड को अनुयायी कहा जाता है। यदि नेता विफल हो जाता है, तो अनुयायी में से एक स्वचालित रूप से नया नेता बन जाएगा। एक अनुयायी सामान्य उपभोक्ता के रूप में कार्य करता है, संदेशों को खींचता है और अपने स्वयं के डेटा स्टोर को अद्यतित करता है। |