Apache NiFi - परिचय
अपाचे NiFi एक शक्तिशाली, प्रयोग करने में आसान और विश्वसनीय प्रणाली है जो डिस्प्रेट सिस्टम के बीच डेटा को प्रोसेस और वितरित करने के लिए है। यह एनएसए द्वारा विकसित नियाग्रा फाइल्स तकनीक पर आधारित है और फिर 8 साल बाद अपाचे सॉफ्टवेयर फाउंडेशन को दान कर दिया गया। इसे Apache लाइसेंस संस्करण 2.0, जनवरी 2004 के तहत वितरित किया गया है। Apache NiFi के लिए नवीनतम संस्करण 1.7.1 है।
Apache NiFi एक वास्तविक समय डेटा अंतर्ग्रहण मंच है, जो विभिन्न स्रोतों और गंतव्य प्रणालियों के बीच डेटा स्थानांतरण को स्थानांतरित और प्रबंधित कर सकता है। यह लॉग, जियो लोकेशन डेटा, सोशल फीड्स आदि जैसे विभिन्न प्रकार के डेटा प्रारूपों का समर्थन करता है। यह एसएफटीपी, एचडीएफएस, और केएएफकेए आदि जैसे कई प्रोटोकॉल का भी समर्थन करता है। यह विभिन्न प्रकार के डेटा स्रोतों और प्रोटोकॉल का समर्थन करता है जो इस प्लेटफॉर्म को लोकप्रिय बनाते हैं। कई आईटी संगठन।
Apache NiFi- सामान्य सुविधाएँ
Apache NiFi की सामान्य विशेषताएं इस प्रकार हैं -
Apache NiFi एक वेब-आधारित उपयोगकर्ता इंटरफ़ेस प्रदान करता है, जो डिज़ाइन, नियंत्रण, प्रतिक्रिया और निगरानी के बीच सहज अनुभव प्रदान करता है।
यह अत्यधिक विन्यास योग्य है। यह उपयोगकर्ताओं को गारंटीकृत वितरण, कम विलंबता, उच्च थ्रूपुट, गतिशील प्राथमिकता, पीठ के दबाव और रनटाइम पर प्रवाह को संशोधित करने में मदद करता है।
यह शुरू से अंत तक डेटा को ट्रैक और मॉनिटर करने के लिए डेटा प्रोविज़न मॉड्यूल भी प्रदान करता है।
डेवलपर्स अपनी आवश्यकताओं के अनुसार अपने स्वयं के कस्टम प्रोसेसर और रिपोर्टिंग कार्य बना सकते हैं।
NiFi सुरक्षित प्रोटोकॉल जैसे एसएसएल, एचटीटीपीएस, एसएसएच और अन्य एनक्रिप्शन भी प्रदान करता है।
यह उपयोगकर्ता और भूमिका प्रबंधन का भी समर्थन करता है और प्राधिकरण के लिए LDAP से भी कॉन्फ़िगर किया जा सकता है।
Apache NiFi -Key अवधारणाओं
Apache NiFi की प्रमुख अवधारणाएँ इस प्रकार हैं -
Process Group - यह NiFi प्रवाह का एक समूह है, जो एक उपयोगकर्ता को पदानुक्रमित तरीके से प्रवाह को प्रबंधित करने और बनाए रखने में मदद करता है।
Flow - यह एक डेटा स्रोत या स्रोतों से दूसरे गंतव्य डेटा स्रोतों के लिए आवश्यक होने पर डेटा को स्थानांतरित करने और संशोधित करने के लिए विभिन्न प्रोसेसर को जोड़ने के लिए बनाया गया है।
Processor- एक प्रोसेसर एक जावा मॉड्यूल है जो सोर्सिंग सिस्टम से डेटा प्राप्त करने या इसे गंतव्य प्रणाली में संग्रहीत करने के लिए जिम्मेदार है। अन्य प्रोसेसर का उपयोग फ्लोफाइल में विशेषताओं को जोड़ने या सामग्री को बदलने के लिए भी किया जाता है।
Flowfile- यह NiFi का मूल उपयोग है, जो NiFi में स्रोत प्रणाली से लिए गए डेटा के एकल ऑब्जेक्ट का प्रतिनिधित्व करता है। NiFiprocessormakes प्रवाह में परिवर्तन करता है, जबकि यह स्रोत प्रोसेसर से गंतव्य तक जाता है। विभिन्न घटनाओं जैसे क्रीत, क्लोन, रिकवे आदि का प्रवाह विभिन्न प्रोसेसर द्वारा प्रवाह में किया जाता है।
Event- इवेंट्स एक NiFi फ्लो के जरिए ट्रैवर्साइल में बदलाव का प्रतिनिधित्व करते हैं। इन घटनाओं को डेटा प्रोवेंस में ट्रैक किया जाता है।
Data provenance - यह एक रिपॉजिटरी है। इसमें एक यूआई भी है, जो उपयोगकर्ताओं को एक फ्लोफाइल के बारे में जानकारी की जांच करने में सक्षम बनाता है और यदि फ्लोफाइल के प्रसंस्करण के दौरान कोई समस्या आती है तो समस्या निवारण में मदद करता है।
Apache NiFi के फायदे
Apache NiFi SFTP का उपयोग करके दूरस्थ मशीनों से डेटा लाने में सक्षम बनाता है और डेटा वंश की गारंटी देता है।
Apache NiFi क्लस्टरिंग को सपोर्ट करता है, इसलिए यह एक ही फ्लो प्रोसेसिंग के अलग-अलग डेटा के साथ कई नोड्स पर काम कर सकता है, जो डेटा प्रोसेसिंग के प्रदर्शन को बढ़ाता है।
यह उपयोगकर्ता स्तर, प्रक्रिया समूह स्तर और अन्य मॉड्यूल पर भी सुरक्षा नीतियां प्रदान करता है।
इसका UI HTTPS पर भी चल सकता है, जो NiFi के साथ उपयोगकर्ताओं की बातचीत को सुरक्षित बनाता है।
NiFi लगभग 188 प्रोसेसर का समर्थन करता है और एक उपयोगकर्ता विभिन्न प्रकार के डेटा सिस्टम का समर्थन करने के लिए कस्टम प्लगइन्स भी बना सकता है।
Apache NiFi के नुकसान
जब कोई उपयोगकर्ता NiFi क्लस्टर से नोड डिस्कनेक्ट हो जाता है, तो उपयोगकर्ता इसमें कोई बदलाव कर रहा है, तो flow.xml अमान्य हो जाती है। जब तक कि व्यवस्थापक कनेक्टेड नोड से flow.xml को कॉपी नहीं करता है, तब तक क्लस्टर में कनेक्ट नहीं हो सकता है।
अपाचे NiFi में प्राइमरी नोड स्विच के मामले में राज्य की दृढ़ता का मुद्दा है, जो कभी-कभी प्रोसेसर को सोर्सिंग सिस्टम से डेटा लाने में सक्षम नहीं बनाता है।