अमेज़ॅन वेब सेवाएँ - डेटा पाइपलाइन
AWS Data Pipeline एक वेब सेवा है, जो उपयोगकर्ताओं के लिए कई AWS सेवाओं में फैले डेटा को एकीकृत करने और इसे एक ही स्थान से विश्लेषण करने के लिए आसान बनाने के लिए डिज़ाइन की गई है।
AWS डेटा पाइपलाइन का उपयोग करके, डेटा को स्रोत से संसाधित किया जा सकता है, और फिर परिणाम को कुशलतापूर्वक संबंधित AWS सेवाओं में स्थानांतरित किया जा सकता है।
डेटा पाइपलाइन कैसे सेट करें?
निम्नलिखित डेटा पाइपलाइन स्थापित करने के लिए कदम हैं -
Step 1 - निम्नलिखित चरणों का उपयोग करके पाइपलाइन बनाएं।
साइन-इन AWS खाते के लिए।
AWS डेटा पाइपलाइन कंसोल खोलने के लिए इस लिंक का उपयोग करें - https://console.aws.amazon.com/datapipeline/
नेविगेशन बार में क्षेत्र का चयन करें।
नया पाइपलाइन बनाएँ बटन पर क्लिक करें।
संबंधित क्षेत्रों में आवश्यक विवरण भरें।
स्रोत फ़ील्ड में, टेम्पलेट का उपयोग करके बिल्ड चुनें और फिर इस टेम्पलेट का चयन करें - ShellCommandActivity का उपयोग करके प्रारंभ करना।
पैरामीटर अनुभाग केवल तभी खुलता है जब टेम्पलेट चुना जाता है। उनके डिफ़ॉल्ट मानों के साथ चलने के लिए S3 इनपुट फ़ोल्डर और शेल कमांड को छोड़ दें। S3 आउटपुट फ़ोल्डर के बगल में स्थित फ़ोल्डर आइकन पर क्लिक करें, और बाल्टियों का चयन करें।
अनुसूची में, मानों को डिफ़ॉल्ट के रूप में छोड़ दें।
पाइपलाइन कॉन्फ़िगरेशन में, लॉगिंग को सक्षम के रूप में छोड़ दें। लॉग के लिए S3 स्थान के अंतर्गत फ़ोल्डर आइकन पर क्लिक करें और बाल्टियों का चयन करें।
सुरक्षा / पहुँच में, IAM भूमिकाओं के मानों को डिफ़ॉल्ट रूप में छोड़ दें।
एक्टिवेट बटन पर क्लिक करें।
कैसे एक पाइपलाइन को नष्ट करने के लिए?
पाइपलाइन हटाने से सभी संबंधित ऑब्जेक्ट भी हट जाएंगे।
Step 1 - पाइपलाइन सूची से पाइपलाइन का चयन करें।
Step 2 - क्रियाएँ बटन पर क्लिक करें और फिर हटाएँ चुनें।
Step 3- एक पुष्टिकरण शीघ्र विंडो खुलती है। हटाएँ पर क्लिक करें।
AWS डेटा पाइपलाइन की विशेषताएं
Simple and cost-efficient- इसके ड्रैग-एंड-ड्रॉप फीचर्स से कंसोल पर पाइप लाइन बनाना आसान हो जाता है। इसकी दृश्य पाइपलाइन निर्माता पाइपलाइन टेम्पलेट्स का एक पुस्तकालय प्रदान करता है। ये टेम्प्लेट लॉग फ़ाइलों को संसाधित करने, अमेज़ॅन एस 3 को डेटा संग्रहीत करने आदि जैसे कार्यों के लिए पाइपलाइन बनाना आसान बनाते हैं।
Reliable- इसका बुनियादी ढांचा दोष सहिष्णु निष्पादन गतिविधियों के लिए बनाया गया है। यदि गतिविधि तर्क या डेटा स्रोतों में विफलताएं होती हैं, तो AWS डेटा पाइपलाइन स्वचालित रूप से गतिविधि को फिर से कर देती है। यदि विफलता जारी रहती है, तो यह विफलता की सूचना भेजेगा। हम इन अधिसूचना अलर्ट को सफल रन, विफलता, गतिविधियों में देरी आदि जैसी स्थितियों के लिए भी कॉन्फ़िगर कर सकते हैं।
Flexible - AWS डेटा पाइपलाइन विभिन्न शेड्यूलिंग, ट्रैकिंग, एरर हैंडलिंग आदि जैसी सुविधाएँ प्रदान करता है। इसे अमेजन EMR जॉब चलाने, डेटाबेस पर सीधे SQL क्वेरी निष्पादित करने, अमेजन EC2 पर चलने वाले कस्टम एप्लिकेशन निष्पादित करने आदि जैसे कार्यों के लिए कॉन्फ़िगर किया जा सकता है।