किबाना - एल्क स्टैक का परिचय

किबाना एक ओपन सोर्स विज़ुअलाइज़ेशन टूल है जिसका उपयोग मुख्य रूप से लाइन ग्राफ, बार ग्राफ, पाई चार्ट, हीटमैप्स आदि के रूप में लॉग की एक बड़ी मात्रा का विश्लेषण करने के लिए किया जाता है। किबाना एलियस्टिक्स और लॉगस्टैश के साथ सिंक में काम करता है जो एक साथ तथाकथित रूप बनाता है। ELK ढेर।

ELK एलिस्टिक्स, लॉगस्टैश और किबाना के लिए खड़ा है। ELK लॉग विश्लेषण के लिए दुनिया भर में उपयोग किए जाने वाले लोकप्रिय लॉग प्रबंधन प्लेटफ़ॉर्म में से एक है।

ELK स्टैक में -

  • Logstashविभिन्न इनपुट स्रोतों से लॉगिंग डेटा या अन्य घटनाओं को निकालता है। यह ईवेंट को संसाधित करता है और बाद में इसे एलेस्टिक्स खोज में संग्रहीत करता है।

  • Kibana एक विज़ुअलाइज़ेशन टूल है, जो एलिस्टिक्स खोज से लॉग तक पहुँचता है और लाइन ग्राफ, बार ग्राफ, पाई चार्ट आदि के रूप में उपयोगकर्ता को प्रदर्शित करने में सक्षम है।

इस ट्यूटोरियल में, हम किबाना और एलीस्टेक खोज के साथ मिलकर काम करेंगे और विभिन्न रूपों में डेटा की कल्पना करेंगे।

इस अध्याय में, आइए समझते हैं कि एक साथ ELK स्टैक के साथ कैसे काम करें। इसके अलावा, आप यह भी देखेंगे कि कैसे -

  • Logstash से Elasticsearch तक CSV डेटा लोड करें।
  • किबाना में एलियस्टिक्स खोज से सूचकांकों का उपयोग करें।

Logstash से Elasticsearch तक CSV डेटा लोड करें

हम Logstash से Elasticsearch का उपयोग करके डेटा अपलोड करने के लिए CSV डेटा का उपयोग करने जा रहे हैं। डेटा विश्लेषण पर काम करने के लिए, हम kaggle.com वेबसाइट से डेटा प्राप्त कर सकते हैं। Kaggle.com साइट पर सभी प्रकार के डेटा अपलोड किए गए हैं और उपयोगकर्ता डेटा विश्लेषण पर काम करने के लिए इसका उपयोग कर सकते हैं।

हमने यहाँ से country.csv डेटा लिया है: https://www.kaggle.com/fernandol/countries-of-the-world। आप csv फ़ाइल डाउनलोड कर सकते हैं और उसका उपयोग कर सकते हैं।

सीएसवी फाइल जो हम उपयोग करने जा रहे हैं, उसमें निम्नलिखित विवरण हैं।

फ़ाइल नाम - countrydata.csv

कॉलम - "देश", "क्षेत्र", "जनसंख्या", "क्षेत्र"

आप डमी सीएसवी फाइल भी बना सकते हैं और उसका उपयोग कर सकते हैं। हम से इस डेटा डंप करने के लिए logstash का उपयोग करेंगे countriesdata.csv elasticsearch करने के लिए।

अपने टर्मिनल में इलास्टिक्स और किबाना शुरू करें और इसे चालू रखें। हमें लॉगस्टैश के लिए कॉन्फिगर फाइल बनानी होगी, जिसमें सीएसवी फाइल के कॉलम के बारे में विवरण होगा और अन्य विवरण भी, जैसा कि नीचे दिए गए लॉगस्टैश-कॉन्फिग फाइल में दिखाया गया है -

input {
   file {
      path => "C:/kibanaproject/countriesdata.csv"
      start_position => "beginning"
      sincedb_path => "NUL"
   }
}
filter {
   csv {
      separator => ","
      columns => ["Country","Region","Population","Area"]
   }
   mutate {convert => ["Population", "integer"]}
   mutate {convert => ["Area", "integer"]}
}
output {
   elasticsearch {
      hosts => ["localhost:9200"]
      => "countriesdata-%{+dd.MM.YYYY}"
   }
   stdout {codec => json_lines }
}

कॉन्फ़िगरेशन फ़ाइल में, हमने 3 घटक बनाए हैं -

इनपुट

हमें इनपुट फ़ाइल का पथ निर्दिष्ट करना होगा जो हमारे मामले में एक सीएसवी फ़ाइल है। जिस पथ पर csv फ़ाइल संग्रहीत है वह पथ फ़ील्ड को दिया गया है।

फ़िल्टर

हमारे पास प्रयोग किए जाने वाले विभाजक के साथ सीएसवी घटक होगा जो हमारे मामले में अल्पविराम है, और हमारे सीएसवी फ़ाइल के लिए उपलब्ध कॉलम भी। जैसा कि लॉगस्टैश स्ट्रिंग के रूप में आने वाले सभी डेटा को मानता है, अगर हम चाहते हैं कि किसी भी कॉलम को पूर्णांक के रूप में इस्तेमाल किया जाए, तो फ्लोट को ऊपर दिखाए गए अनुसार म्यूट का उपयोग करके निर्दिष्ट किया जाना चाहिए।

उत्पादन

आउटपुट के लिए, हमें यह निर्दिष्ट करने की आवश्यकता है कि हमें डेटा कहाँ रखना है। यहाँ, हमारे मामले में हम elasticsearch का उपयोग कर रहे हैं। इलास्टिसर्च को दिए जाने वाले डेटा को होस्ट करना है जहां वह चल रहा है, हमने स्थानीयहोस्ट के रूप में इसका उल्लेख किया है। अगला क्षेत्र इंडेक्स है जिसे हमने देशों के रूप में नाम दिया है -Currentdate। एलिजाबेथ में डेटा अपडेट होने के बाद हमें किबाना में उसी इंडेक्स का उपयोग करना होगा।

उपर्युक्त विन्यास फ़ाइल को logstash_countries.config के रूप में सहेजें । ध्यान दें कि हमें अगले चरण में लॉगस्टैश कमांड को इस कॉन्फिग का रास्ता देना होगा।

सीएसवी फ़ाइल से डेटा को इलास्टिक्स खोज में लोड करने के लिए, हमें इलास्टिसर्च सर्वर शुरू करना होगा -

अब, भागो http://localhost:9200 ब्राउज़र में यह पुष्टि करने के लिए कि क्या इलास्टिसर्च सफलतापूर्वक चल रहा है।

हमारे पास एलेस्टिक्स खोज चल रही है। अब उस पथ पर जाएं जहां लॉगस्टैश स्थापित किया गया है और डेटा को इलास्टिसर्च में अपलोड करने के लिए कमांड का पालन करें।

> logstash -f logstash_countries.conf

उपरोक्त स्क्रीन CSV फ़ाइल से एलिटिक्स खोज में डेटा लोडिंग दिखाती है। यह जानने के लिए कि क्या हमारे पास इलास्टिक्स खोज में बनाया गया सूचकांक है, हम इसे निम्नानुसार जाँच सकते हैं -

जैसा कि ऊपर दिखाया गया है हम countrydata-28.12.2018 इंडेक्स बना सकते हैं।

सूचकांक का विवरण - देश -२ the.१२.२०१ - इस प्रकार है -

ध्यान दें कि जब डेटा लॉगस्टैश से इलास्टिक्सर्च में अपलोड किया जाता है तो गुणों के साथ मैपिंग विवरण बनाया जाता है।

किबाना में इलास्टिसर्च से डेटा का उपयोग करें

वर्तमान में, हम Kibana लोकलहोस्ट पर चल रहे हैं, पोर्ट 5601 - http://localhost:5601। Kibana का UI यहाँ दिखाया गया है -

ध्यान दें कि हमारे पास पहले से ही किबाना एलिस्टिक्स खोज से जुड़ी हुई है और हमें देखने में सक्षम होना चाहिए index :countries-28.12.2018 किबना के अंदर।

Kibana UI में, बाईं ओर प्रबंधन मेनू विकल्प पर क्लिक करें -

अब, सूचकांक प्रबंधन पर क्लिक करें -

Elasticsearch में मौजूद सूचकांक सूचकांक प्रबंधन में प्रदर्शित किए जाते हैं। जिस सूचकांक का हम किबाना में उपयोग करने जा रहे हैं वह देशदत्त -28.12.2018 है।

इस प्रकार, जैसा कि हमारे पास पहले से ही किबाना में इलास्टिक्स खोज सूचकांक है, अगले समझेंगे कि पाई चार्ट, बार ग्राफ, लाइन चार्ट आदि के रूप में डेटा की कल्पना करने के लिए किबाना में सूचकांक का उपयोग कैसे करें।