MapReduce - Hadoop प्रशासन

यह अध्याय Hadoop प्रशासन को बताता है जिसमें HDFS और MapReduce प्रशासन दोनों शामिल हैं।

एचडीएफएस प्रशासन में एचडीएफएस फ़ाइल संरचना, स्थानों और अद्यतन की गई फ़ाइलों की निगरानी शामिल है।
MapReduce प्रशासन में आवेदनों की सूची, नोड्स के कॉन्फ़िगरेशन, आवेदन की स्थिति आदि की निगरानी शामिल है।

HDFS मॉनिटरिंग

HDFS (Hadoop डिस्ट्रिब्यूटेड फाइल सिस्टम) में उपयोगकर्ता निर्देशिकाएं, इनपुट फाइलें और आउटपुट फाइलें शामिल हैं। MapReduce कमांड का उपयोग करें,put तथा get, भंडारण और पुनः प्राप्त करने के लिए।

"/ $ HADOOP_HOME / sbin" पर कमांड "start-all.sh" पास करके Hadoop फ्रेमवर्क (डेमोंस) को शुरू करने के बाद, निम्न URL को ब्राउज़र "http: // localhost: 50070" पर दें। आपको अपने ब्राउज़र पर निम्न स्क्रीन देखनी चाहिए।

निम्न स्क्रीनशॉट दिखाता है कि ब्राउज़ एचडीएफ को कैसे ब्राउज़ करें।

निम्न स्क्रीनशॉट एचडीएफएस की फ़ाइल संरचना दिखाते हैं। यह "/ user / hadoop" निर्देशिका में फाइलों को दिखाता है।

निम्न स्क्रीनशॉट एक क्लस्टर में Datanode जानकारी दिखाता है। यहां आप इसके कॉन्फ़िगरेशन और क्षमता के साथ एक नोड पा सकते हैं।

MapReduce नौकरी की निगरानी

MapReduce एप्लिकेशन नौकरियों का एक संग्रह है (मैप जॉब, कंबाइनर, पार्टीशनर और जॉब कम करें)। निम्नलिखित की निगरानी करना और उसे बनाए रखना अनिवार्य है -

डेटानोड का विन्यास जहां अनुप्रयोग उपयुक्त है।
प्रति आवेदन में उपयोग किए जाने वाले डेटा और संसाधनों की संख्या।

इन सभी चीजों पर नजर रखने के लिए यह जरूरी है कि हमारे पास एक यूजर इंटरफेस होना चाहिए। "/ HADOOP_HOME / sbin" पर कमांड "start-all.sh" पास करके Hadoop फ्रेमवर्क को शुरू करने के बाद, निम्न URL को ब्राउज़र "http: // localhost: 8080" पर दें। आपको अपने ब्राउज़र पर निम्न स्क्रीन देखनी चाहिए।

उपरोक्त स्क्रीनशॉट में, हाथ का सूचक एप्लिकेशन आईडी पर है। अपने ब्राउज़र पर निम्न स्क्रीन खोजने के लिए बस इस पर क्लिक करें। यह निम्नलिखित का वर्णन करता है -

जिस उपयोगकर्ता पर वर्तमान एप्लिकेशन चल रहा है
आवेदन का नाम
उस एप्लिकेशन का प्रकार
वर्तमान स्थिति, अंतिम स्थिति
आवेदन शुरू होने का समय, बीता हुआ (पूर्ण समय), अगर यह निगरानी के समय पूरा हो गया है
इस आवेदन का इतिहास, यानी, लॉग जानकारी
और अंत में, नोड जानकारी, यानी, नोड्स जो एप्लिकेशन को चलाने में भाग लेते हैं।

निम्नलिखित स्क्रीनशॉट एक विशेष आवेदन का विवरण दिखाता है -

निम्नलिखित स्क्रीनशॉट में वर्तमान में चल रही नोड्स जानकारी का वर्णन है। यहां, स्क्रीनशॉट में केवल एक नोड है। एक हैंड पॉइंटर, रनिंग नोड के लोकलहोस्ट एड्रेस को दिखाता है।