OBIEE - डेटा वेयरहाउस

आज के प्रतिस्पर्धी बाजार में, ज्यादातर सफल कंपनियां बाजार में बदलाव और अवसरों के लिए तेजी से प्रतिक्रिया देती हैं। डेटा और सूचना के प्रभावी और कुशल उपयोग से प्रतिक्रिया करने की आवश्यकता है।“Data Warehouse”डेटा का एक केंद्रीय भंडार है जो संगठन के निर्णय निर्माताओं का समर्थन करने के लिए श्रेणी द्वारा आयोजित किया जाता है। डेटा वेयरहाउस में डेटा स्टोर हो जाने के बाद, इसे विश्लेषण के लिए एक्सेस किया जा सकता है।

शब्द "डेटा वेयरहाउस" का आविष्कार पहली बार बिल इनमॉन ने 1990 में किया था। उनके अनुसार, "डेटा वेयरहाउस प्रबंधन के निर्णय लेने की प्रक्रिया के समर्थन में डेटा का एक विषय-उन्मुख, एकीकृत, समय-संस्करण और गैर-वाष्पशील संग्रह है।"

राल्फ किमबॉल ने अपनी कार्यक्षमता के आधार पर डेटा वेयरहाउस की परिभाषा प्रदान की। उन्होंने कहा, "डेटा वेयरहाउस लेनदेन डेटा की एक प्रति है जो विशेष रूप से क्वेरी और विश्लेषण के लिए संरचित है।"

डेटा वेयरहाउस (डीडब्ल्यू या डीडब्ल्यूएच) एक प्रणाली है जिसका उपयोग डेटा और रिपोर्टिंग उद्देश्यों के विश्लेषण के लिए किया जाता है। वे रिपॉजिटरी हैं जो डेटा को एक या अधिक विषम डेटा स्रोतों से बचाता है। वे वर्तमान और ऐतिहासिक डेटा दोनों को संग्रहीत करते हैं और विश्लेषणात्मक रिपोर्ट बनाने के लिए उपयोग किया जाता है। वरिष्ठ प्रबंधन के लिए इंटरैक्टिव डैशबोर्ड बनाने के लिए DW का उपयोग किया जा सकता है।

उदाहरण के लिए, विश्लेषणात्मक रिपोर्ट में तिमाही तुलना के लिए या किसी कंपनी के लिए बिक्री रिपोर्ट की वार्षिक तुलना के लिए डेटा हो सकता है।

DW में डेटा कई ऑपरेशनल सिस्टम जैसे सेल्स, ह्यूमन रिसोर्स, मार्केटिंग, वेयरहाउस मैनेजमेंट आदि से आता है। इसमें अलग-अलग ट्रांजैक्शन सिस्टम से हिस्टोरिकल डेटा होता है, लेकिन इसमें दूसरे सोर्स से भी डेटा शामिल किया जा सकता है। डीडब्ल्यू का उपयोग लेनदेन कार्यभार से डेटा प्रोसेसिंग और विश्लेषण कार्यभार को अलग करने के लिए किया जाता है और डेटा को कई डेटा स्रोतों से समेकित करने में सक्षम बनाता है।

डेटा वेयरहाउस की आवश्यकता

उदाहरण के लिए - आपके पास एक होम लोन एजेंसी है, जहां डेटा कई एसएपी / गैर-एसएपी अनुप्रयोगों जैसे कि मार्केटिंग, बिक्री, ईआरपी, एचआरएम, आदि से आता है। यह डेटा निकाला जाता है, रूपांतरित होता है और डीडब्ल्यू में लोड होता है। यदि आपको किसी उत्पाद की त्रैमासिक / वार्षिक बिक्री करनी है, तो आप एक संचालन डेटाबेस का उपयोग नहीं कर सकते क्योंकि यह लेनदेन प्रणाली को लटका देगा। यह वह जगह है जहां DW का उपयोग करने की आवश्यकता उत्पन्न होती है।

डेटा वेयरहाउस की विशेषताएँ

डीडब्ल्यू की कुछ प्रमुख विशेषताएं हैं -

  • इसका उपयोग रिपोर्टिंग और डेटा विश्लेषण के लिए किया जाता है।
  • यह एक या अधिक स्रोतों से एकीकृत डेटा के साथ एक केंद्रीय भंडार प्रदान करता है।
  • यह वर्तमान और ऐतिहासिक डेटा संग्रहीत करता है।

डेटा वेयरहाउस बनाम लेनदेन प्रणाली

डेटा वेयरहाउस और ऑपरेशनल डेटाबेस (ट्रांजैक्शन सिस्टम) के बीच कुछ अंतर हैं -

  • लेन-देन प्रणाली ज्ञात कार्यभार और लेनदेन के लिए डिज़ाइन की गई है जैसे कि उपयोगकर्ता रिकॉर्ड को अपडेट करना, रिकॉर्ड खोजना, आदि। हालाँकि, DW लेनदेन अधिक जटिल हैं और डेटा का एक सामान्य रूप प्रस्तुत करते हैं।

  • लेन-देन प्रणाली में एक संगठन का वर्तमान डेटा होता है जबकि डीडब्ल्यू में आम तौर पर ऐतिहासिक डेटा होता है।

  • लेन-देन प्रणाली कई लेनदेन के समानांतर प्रसंस्करण का समर्थन करती है। डेटाबेस की संगति बनाए रखने के लिए कंसीडर कंट्रोल और रिकवरी मैकेनिज्म की आवश्यकता होती है।

  • ऑपरेशनल डेटाबेस क्वेरी ऑपरेशन (डिलीट और अपडेट) को पढ़ने और संशोधित करने की अनुमति देती है, जबकि OLAP क्वेरी को केवल संग्रहीत डेटा की केवल पढ़ने (एक्सेस स्टेटमेंट) की आवश्यकता होती है।

  • डीडब्ल्यू में डेटा सफाई, डेटा एकीकरण और डेटा समेकन शामिल हैं।

डीडब्ल्यू में एक तीन-परत वास्तुकला है - डेटा स्रोत परत, एकीकरण परत, और प्रस्तुति परत। निम्न आरेख एक डेटा वेयरहाउस सिस्टम की सामान्य वास्तुकला को दर्शाता है।

डेटा वेयरहाउस सिस्टम के प्रकार

निम्नलिखित DW सिस्टम के प्रकार हैं -

  • आंकड़ों का बाजार
  • ऑनलाइन विश्लेषणात्मक प्रसंस्करण (OLAP)
  • ऑनलाइन लेनदेन प्रसंस्करण (OLTP)
  • भविष्य कहनेवाला विश्लेषण

आंकड़ों का बाजार

डेटा मार्ट DW का सबसे सरल रूप है और यह सामान्य रूप से एकल कार्यात्मक क्षेत्र, जैसे बिक्री, वित्त या विपणन पर केंद्रित है। इसलिए, डेटा मार्ट आमतौर पर केवल कुछ डेटा स्रोतों से डेटा प्राप्त करता है।

स्रोत एक आंतरिक लेनदेन प्रणाली, एक केंद्रीय डेटा वेयरहाउस या बाहरी डेटा स्रोत एप्लिकेशन हो सकते हैं। इस प्रणाली में डेटा मॉडलिंग तकनीकों के लिए डी-सामान्यकरण आदर्श है।

ऑनलाइन विश्लेषणात्मक प्रसंस्करण (OLAP)

ओएलएपी प्रणाली में लेनदेन की संख्या कम होती है लेकिन इसमें जटिल गणना जैसे एग्लिगेशंस - सम, काउंट, एवरेज आदि का उपयोग शामिल होता है।

एकत्रीकरण क्या है?

हम वार्षिक (1 पंक्ति), त्रैमासिक (4 पंक्तियों), मासिक (12 पंक्तियों) जैसे एकत्रित डेटा के साथ तालिकाओं को सहेजते हैं और अब हम डेटा की तुलना करना चाहते हैं, जैसे वार्षिक केवल 1 पंक्ति संसाधित की जाएगी। हालाँकि, एक संयुक्त डेटा में, सभी पंक्तियों को संसाधित किया जाएगा।

OLAP सिस्टम आम तौर पर स्टार स्कीमा, गैलेक्सी स्कीमा (फैक्टर और डायमेंशनल टेबल के साथ तार्किक तरीके से जुड़ जाते हैं) जैसे बहुआयामी स्कीमा में डेटा संग्रहीत करता है।

OLAP सिस्टम में, क्वेरी को निष्पादित करने के लिए प्रतिक्रिया समय एक प्रभावशीलता उपाय है। OLAP अनुप्रयोगों को व्यापक रूप से डेटा खनन तकनीकों द्वारा OLAP सिस्टम से डेटा प्राप्त करने के लिए उपयोग किया जाता है। OLAP डेटाबेस बहु-आयामी स्कीमा में एकत्रित ऐतिहासिक डेटा को संग्रहीत करते हैं। डेटा मार्ट की तुलना में OLAP सिस्टम में कुछ घंटों की डेटा विलंबता होती है, जहां विलंबता सामान्य रूप से कुछ दिनों के लिए होती है।

ऑनलाइन लेनदेन प्रसंस्करण (OLTP)

ओएलटीपी प्रणाली बड़ी संख्या में लघु ऑनलाइन लेनदेन के लिए जानी जाती है जैसे इन्सर्ट, अपडेट, डिलीट, आदि। ओएलटीपी सिस्टम तेजी से क्वेरी प्रोसेसिंग प्रदान करते हैं और मल्टी-एक्सेस वातावरण में डेटा अखंडता प्रदान करने के लिए भी जिम्मेदार हैं।

ओएलटीपी प्रणालियों के लिए, प्रति सेकंड संसाधित लेनदेन की संख्या से प्रभावशीलता को मापा जाता है। OLTP सिस्टम में आम तौर पर केवल वर्तमान डेटा होता है। लेन-देन डेटाबेस को संग्रहीत करने के लिए उपयोग किया जाने वाला स्कीमा इकाई मॉडल है। ओएलटीपी प्रणाली में डेटा मॉडलिंग तकनीकों के लिए सामान्यीकरण का उपयोग किया जाता है।

OLTP बनाम OLAP

निम्नलिखित उदाहरण एक OLTP और OLAP सिस्टम के बीच महत्वपूर्ण अंतर को दर्शाता है।

Indexes - एक ओएलटीपी सिस्टम में, केवल कुछ इंडेक्स होते हैं जबकि ओएलएपी सिस्टम में प्रदर्शन अनुकूलन के लिए कई इंडेक्स होते हैं।

Joins- एक ओएलटीपी प्रणाली में, बड़ी संख्या में जुड़ने और डेटा को सामान्यीकृत किया जाता है; हालाँकि, OLAP सिस्टम में कम जोड़ और डी-सामान्यीकृत होते हैं।

Aggregation - एक OLTP सिस्टम में, डेटा को एकत्र नहीं किया जाता है जबकि OLAP डेटाबेस में अधिक एकत्रीकरण का उपयोग किया जाता है।