अमेज़ॅन वेब सेवाएँ - किनेसिस
Amazon Kinesisएक प्रबंधित, स्केलेबल, क्लाउड-आधारित सेवा है जो प्रति सेकंड बड़ी मात्रा में डेटा स्ट्रीमिंग की वास्तविक समय प्रसंस्करण की अनुमति देता है। यह वास्तविक समय के अनुप्रयोगों के लिए डिज़ाइन किया गया है और डेवलपर्स को कई स्रोतों से किसी भी मात्रा में डेटा लेने की अनुमति देता है, जो कि EC2 इंस्टेंस पर चलाया जा सकता है।
इसका उपयोग इवेंट लॉग और सोशल मीडिया फीड जैसे बड़े, वितरित स्ट्रीम से डेटा को कैप्चर, स्टोर और प्रोसेस करने के लिए किया जाता है। डेटा को संसाधित करने के बाद, Kinesis इसे एक साथ कई उपभोक्ताओं को वितरित करता है।
Amazon KCL का उपयोग कैसे करें?
इसका उपयोग उन परिस्थितियों में किया जाता है जहां हमें तेजी से बढ़ते डेटा और इसके निरंतर प्रसंस्करण की आवश्यकता होती है। Amazon Kinesis का उपयोग निम्नलिखित स्थितियों में किया जा सकता है -
Data log and data feed intake- हमें डेटा को बैचने के लिए प्रतीक्षा करने की आवश्यकता नहीं है, जैसे ही डेटा तैयार होता है हम डेटा को अमेज़ॅन किनेसिस स्ट्रीम में धकेल सकते हैं। यह डेटा निर्माता के विफल होने की स्थिति में डेटा हानि से भी बचाता है। उदाहरण के लिए: सिस्टम और एप्लिकेशन लॉग लगातार एक स्ट्रीम में जोड़े जा सकते हैं और आवश्यकता होने पर सेकंड में उपलब्ध हो सकते हैं।
Real-time graphs- हम रिपोर्ट परिणाम बनाने के लिए Amazon Kinesis स्ट्रीम का उपयोग करके ग्राफ़ / मैट्रिक्स निकाल सकते हैं। हमें डेटा बैचों की प्रतीक्षा नहीं करनी चाहिए।
Real-time data analytics - हम Amazon Kinesis का उपयोग करके रीयल-टाइम स्ट्रीमिंग डेटा एनालिटिक्स चला सकते हैं।
Amazon Kinesis की सीमा?
अमेजन काइनिस स्ट्रीम का उपयोग करते समय कुछ सीमाएं ध्यान में रखी जानी चाहिए -
किसी स्ट्रीम के रिकॉर्ड डिफ़ॉल्ट रूप से 24 घंटे तक सुलभ हो सकते हैं और विस्तारित डेटा अवधारण को सक्षम करके 7 दिनों तक बढ़ाया जा सकता है।
एक रिकॉर्ड में डेटा ब्लॉब (बेस 64-एन्कोडिंग से पहले डेटा पेलोड) का अधिकतम आकार 1 मेगाबाइट (एमबी) है।
एक शार्क प्रति सेकंड 1000 PUT रिकॉर्ड तक का समर्थन करती है।
सीमा से संबंधित अधिक जानकारी के लिए, निम्न लिंक पर जाएं - https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
Amazon Kinesis का उपयोग कैसे करें?
अमेज़ॅन किनेसिस का उपयोग करने के चरण निम्नलिखित हैं -
Step 1 - निम्नलिखित चरणों का उपयोग करके Kinesis स्ट्रीम सेट करें -
AWS खाते में साइन इन करें। अमेज़ॅन प्रबंधन कंसोल से अमेज़ॅन किनेसिस चुनें।
क्रिएट स्ट्रीम पर क्लिक करें और आवश्यक फ़ील्ड जैसे कि स्ट्रीम नाम और शार्प्स की संख्या भरें। Create बटन पर क्लिक करें।
स्ट्रीम अब स्ट्रीम सूची में दिखाई देगी।
Step 2- Kinesis स्ट्रीम पर उपयोगकर्ताओं को सेट करें। नए उपयोगकर्ता बनाएं और प्रत्येक उपयोगकर्ता को एक नीति सौंपें। (हमने उपयोगकर्ता बनाने और उन्हें नीति प्रदान करने के लिए ऊपर की प्रक्रिया पर चर्चा की है)
Step 3- अपने आवेदन को अमेज़ॅन किनेसिस से कनेक्ट करें; यहाँ हम ज़ूमडाटा को अमेज़न किनेसिस से जोड़ रहे हैं। कनेक्ट करने के लिए निम्न चरण हैं।
ज़ूमडेटा में व्यवस्थापक के रूप में लॉग इन करें और मेनू में स्रोत पर क्लिक करें।
Kinesis आइकन का चयन करें और आवश्यक विवरण भरें। नेक्स्ट बटन पर क्लिक करें।
स्ट्रीम टैब पर वांछित स्ट्रीम का चयन करें।
फ़ील्ड टैब पर, आवश्यकतानुसार विशिष्ट लेबल नाम बनाएं, और अगला बटन क्लिक करें।
चार्ट्स टैब पर, डेटा के लिए चार्ट को सक्षम करें। आवश्यकतानुसार सेटिंग्स को कस्टमाइज़ करें और फिर सेटिंग को बचाने के लिए फिनिश बटन पर क्लिक करें।
अमेज़ॅन काइनिस की विशेषताएं
Real-time processing - यह स्टॉक ट्रेड की कीमतों की तरह वास्तविक समय में जानकारी एकत्र करने और विश्लेषण करने की अनुमति देता है अन्यथा हमें डेटा-आउट रिपोर्ट की प्रतीक्षा करनी होगी।
Easy to use - अमेज़ॅन काइनिस का उपयोग करके, हम एक नई स्ट्रीम बना सकते हैं, इसकी आवश्यकताओं को सेट कर सकते हैं, और डेटा को जल्दी से स्ट्रीम करना शुरू कर सकते हैं।
High throughput, elastic - यह स्टॉक ट्रेड की कीमतों की तरह वास्तविक समय में जानकारी एकत्र करने और विश्लेषण करने की अनुमति देता है अन्यथा हमें डेटा-आउट रिपोर्ट की प्रतीक्षा करनी होगी।
Integrate with other Amazon services - इसे Amazon Redshift, Amazon S3 और Amazon DynamoDB के साथ एकीकृत किया जा सकता है।
Build kinesis applications- अमेज़ॅन काइनीस डेवलपर्स को क्लाइंट लाइब्रेरी प्रदान करता है जो वास्तविक समय डेटा प्रोसेसिंग अनुप्रयोगों के डिजाइन और संचालन को सक्षम करता है। जावा एप्लिकेशन में अमेज़ॅन काइनिस क्लाइंट लाइब्रेरी जोड़ें और यह सूचित करेगा कि प्रसंस्करण के लिए नया डेटा कब उपलब्ध है।
Cost-efficient- अमेज़ॅन किनेसिस किसी भी पैमाने के वर्कलोड के लिए लागत-कुशल है। जैसा कि हम उपयोग किए गए संसाधनों के लिए जाते हैं और आवश्यक थ्रूपुट के लिए प्रति घंटा भुगतान करते हैं।