'बिग डेटा' क्या है?

एक तरह से, बड़ा डेटा ठीक वैसा ही है जैसा यह लगता है - बहुत सारा डेटा। इंटरनेट के आगमन के बाद से, हम चौंका देने वाली मात्रा में डेटा का उत्पादन कर रहे हैं। यह अनुमान लगाया गया है कि वर्ष 2003 तक सभी समय में, केवल 5 एक्साबाइट डेटा उत्पन्न किया गया था - जो कि 5 बिलियन गीगाबाइट के बराबर है। लेकिन 2003 से 2012 तक, राशि लगभग 2.7 ज़ेटाबाइट्स (या 2,700 एक्साबाइट्स, या 2.7 ट्रिलियन गीगाबाइट्स) [स्रोत: इंटेल , लुंड ] तक पहुंच गई। बर्कले के शोधकर्ताओं के अनुसार, अब हम हर दो दिन में लगभग 5 क्विंटल बाइट्स (या लगभग 4.3 एक्साबाइट) डेटा का उत्पादन कर रहे हैं [स्रोत: रोमानोव ]।

'बिग डेटा' शब्द का इस्तेमाल आमतौर पर डिजीटल डेटा के बड़े पैमाने पर, तेजी से विस्तार, विविध और अक्सर असंरचित सेटों को संदर्भित करने के लिए किया जाता है जिन्हें पारंपरिक डेटाबेस का उपयोग करके बनाए रखना मुश्किल होता है। इसमें इंटरनेट के ईथर में मौजूद सभी डिजिटल जानकारी, उन कंपनियों की मालिकाना जानकारी शामिल हो सकती है जिनके साथ हमने व्यापार किया है और आधिकारिक सरकारी रिकॉर्ड, और कई अन्य चीजें शामिल हैं। यह भी निहितार्थ है कि किसी उद्देश्य के लिए डेटा का विश्लेषण किया जा रहा है।

हमने ऑनलाइन खरीदारी करके और सोशल मीडिया में भाग लेकर इसे स्वयं उत्पन्न किया है, लेकिन यह केवल हिमशैल का सिरा है। बिग डेटा में डिजीटल दस्तावेज, फोटोग्राफ, वीडियो, ऑडियो फाइलें, ट्वीट और अन्य सोशल नेटवर्किंग पोस्ट, ई-मेल, टेक्स्ट मैसेज, फोन रिकॉर्ड, सर्च इंजन क्वेरी, आरएफआईडी टैग और बारकोड स्कैन और वित्तीय लेनदेन रिकॉर्ड शामिल हो सकते हैं, हालांकि वे नहीं हैं एकमात्र स्रोत। आप हर बार जब आप कुछ भी ऑनलाइन करते हैं तो डेटा का उत्पादन कर रहे हैं, एक डिजिटल निशान छोड़कर जो अन्य लोग साथ आ सकते हैं और उपयोगी जानकारी के लिए मेरा।

डेटा उत्पन्न करने वाले उपकरणों की संख्या और प्रकार भी बढ़ रहे हैं। होम कंप्यूटर और रिटेलर्स के पॉइंट-ऑफ-सेल सिस्टम के अलावा, हमारे पास इंटरनेट से जुड़े स्मार्टफोन, वाईफाई-सक्षम स्केल हैं जो हमारे वजन को ट्वीट करते हैं, फिटनेस सेंसर जो स्वास्थ्य संबंधी डेटा को ट्रैक करते हैं और कभी-कभी साझा करते हैं, कैमरे जो स्वचालित रूप से ऑनलाइन फोटो और वीडियो पोस्ट कर सकते हैं और ग्लोबल पोजिशनिंग सैटेलाइट ( जीपीएस ) डिवाइस जो ग्लोब पर हमारे स्थान को इंगित कर सकते हैं, कुछ का नाम लेने के लिए। मौसम और यातायात सेंसर, निगरानी कैमरे, कारों और हवाई जहाजों में सेंसर और अन्य चीजों को न भूलें जो लगातार डेटा एकत्र करने वाले व्यक्तियों से जुड़ी नहीं हैं। बड़ी संख्या में इलेक्ट्रॉनिक उपकरण जो डेटा उत्पन्न और अपलोड करते हैं, ने "इंटरनेट ऑफ थिंग्स" शब्द को जन्म दिया है।

आपको वहाँ बड़े डेटा की कई परिभाषाएँ मिलेंगी, इसलिए हर कोई पूरी तरह से सहमत नहीं है कि इसमें क्या शामिल है, लेकिन यह कुछ भी हो सकता है जिसे जानने में किसी की दिलचस्पी हो सकती है जिसे कंप्यूटर विश्लेषण के अधीन किया जा सकता है। और डेटा के इन बड़े, बोझिल सेटों को एकत्र करने, संग्रहीत करने, संसाधित करने और उनका विश्लेषण करने के लिए नए तरीकों की आवश्यकता होती है।

बड़े डेटा को एकत्र करना, मालिश करना, एक साथ जोड़ना और इसकी व्याख्या करना होता है ताकि यह किसी के भी काम आ सके। कंपनियों और अन्य संस्थाओं को उनके लिए सबसे अधिक प्रासंगिक डेटा प्राप्त करने के लिए उपलब्ध डेटा की विशाल मात्रा को फ़िल्टर करने की आवश्यकता होती है। सौभाग्य से, हार्डवेयर और सॉफ्टवेयर जो बड़ी मात्रा में सूचनाओं को संसाधित, संग्रहीत और विश्लेषण कर सकते हैं, वे सस्ते और तेज होते जा रहे हैं, इसलिए काम के लिए अब बड़े और निषेधात्मक रूप से महंगे सुपर कंप्यूटरों की आवश्यकता नहीं है। कुछ सॉफ़्टवेयर अधिक उपयोगकर्ता के अनुकूल होते जा रहे हैं ताकि यह आवश्यक रूप से प्रोग्रामर और डेटा वैज्ञानिकों की एक टीम को डेटा को कम करने के लिए न ले (हालाँकि यह जानकार लोगों के लिए कभी दर्द नहीं होता है जो आपकी आवश्यकताओं को समझ सकते हैं)।

कंपनियां क्लाउड कंप्यूटिंग सेवाओं का लाभ उठाती हैं ताकि उन्हें डेटा क्रंच करने के लिए अपना खुद का कंप्यूटर खरीदने की जरूरत न पड़े। डेटा केंद्र , जिसे सर्वर फ़ार्म भी कहा जाता है , कई सर्वरों पर प्रसंस्करण के लिए डेटा के बैचों को वितरित कर सकता है, और सर्वरों की संख्या को आवश्यकतानुसार तेज़ी से बढ़ाया या घटाया जा सकता है। यह स्केलेबल वितरित कंप्यूटिंग Apache Hadoop, MapReduce और Massively Parallel Processing (MPP) जैसे नवीन उपकरणों का उपयोग करके पूरी की जाती है। NoSQL डेटाबेस को पारंपरिक SQL-आधारित डेटाबेस सिस्टम के लिए अधिक आसानी से स्केलेबल विकल्प के रूप में विकसित किया गया है।

इस बड़े डेटा प्रोसेसिंग और विश्लेषण का उद्देश्य पैटर्न और सहसंबंधों को खोजना है जो अंतर्दृष्टि प्रदान करते हैं जिनका शोषण किया जा सकता है या निर्णय लेने के लिए उपयोग किया जा सकता है। व्यवसाय अब उपभोक्ता की आदतों, उनके उत्पादों की लोकप्रियता या व्यवसाय करने के अधिक कुशल तरीकों के बारे में जानकारी के लिए भारी मात्रा में डेटा माइन कर सकते हैं। बिग डेटा एनालिटिक्स का उपयोग उन ग्राहकों पर प्रासंगिक विज्ञापनों, उत्पादों और सेवाओं को लक्षित करने के लिए किया जा सकता है, जिनके बारे में उनका मानना ​​है कि वे उन्हें खरीदने की सबसे अधिक संभावना रखते हैं, या ऐसे विज्ञापन बनाने के लिए जो बड़े पैमाने पर जनता के लिए अपील करने की अधिक संभावना रखते हैं। कंपनियां अब अपने स्मार्टफोन के जरिए लोगों को रीयल-टाइम विज्ञापन और कूपन भेजने जैसे काम भी करने लगी हैं, जो उन जगहों के करीब हैं जहां उन्होंने हाल ही में अपने क्रेडिट कार्ड का इस्तेमाल किया है ।

हालाँकि, यह केवल हमें सामान खरीदने के लिए नहीं है। व्यवसाय दक्षता और प्रथाओं में सुधार के लिए जानकारी का उपयोग कर सकते हैं, जैसे कि सबसे अधिक लागत प्रभावी वितरण मार्ग ढूंढना या माल को अधिक उचित रूप से स्टॉक करना। सरकारी एजेंसियां ​​नीतिगत निर्णयों और सार्वजनिक सेवा में सुधार के लिए यातायात पैटर्न, अपराध, उपयोगिता उपयोग और अन्य आंकड़ों का विश्लेषण कर सकती हैं। खुफिया एजेंसियां ​​इसका इस्तेमाल, अच्छी तरह से, जासूसी करने और आपराधिक और आतंकवादी साजिशों को विफल करने के लिए कर सकती हैं। समाचार संगठन इसका उपयोग रुझानों को खोजने और कहानियों को विकसित करने के लिए कर सकते हैं, और निश्चित रूप से, बड़े डेटा के बारे में अधिक लेख लिख सकते हैं।

संक्षेप में, बड़ा डेटा संस्थाओं को निर्णयों को सूचित करने के लिए लगभग वास्तविक समय के डेटा का उपयोग करने की अनुमति देता है, बजाय इसके कि ज्यादातर पुरानी जानकारी पर पहले की तरह निर्भर हो। लेकिन यह देखने की क्षमता कि हमारे साथ वर्तमान में क्या हो रहा है, और यहां तक ​​कि कभी-कभी हमारे भविष्य के व्यवहार की भविष्यवाणी करना थोड़ा डरावना हो सकता है।

बड़े डेटा का विचार हममें से बहुतों को असहज करता है। यह ऑरवेल के बिग ब्रदर की तरह लगता है, और उन कंपनियों के विज्ञापनों के साथ जो यह जानते हैं कि हम क्या कर रहे हैं और हाल ही में एनएसए घरेलू जासूसी के खुलासे, यह समझ में आता है कि कुछ लोगों को हम सभी के बारे में बड़ी मात्रा में जानकारी मिलती है जो हमें परेशान करती है। .

लोग इस डेटा से आपके बारे में बहुत कुछ बता सकते हैं, जिसमें आपकी उम्र, लिंग, यौन अभिविन्यास, वैवाहिक स्थिति, आय स्तर, स्वास्थ्य की स्थिति, स्वाद, शौक, आदतें और कई अन्य चीजें शामिल हैं जिन्हें आप सार्वजनिक करना चाहते हैं या नहीं करना चाहते हैं। ज्ञान। उन्हें इसे इकट्ठा करने और विश्लेषण करने के लिए केवल साधन और इच्छाशक्ति की आवश्यकता है। और चाहे उनका मतलब अच्छा हो या बीमार, इसके अनपेक्षित परिणाम हो सकते हैं।

हम जिन कंपनियों के साथ व्यापार करते हैं, उन्हें हम जितना महसूस करते हैं उससे अधिक जानकारी देते हैं, खासकर यदि हम लॉयल्टी कार्ड का उपयोग करते हैं या क्रेडिट या डेबिट कार्ड से भुगतान करते हैं। आपकी खरीदारी का विश्लेषण करने से ही कोई आपके बारे में बहुत कुछ सीख सकता है। लक्ष्य को कुछ प्रेस तब मिली जब यह पता चला कि वे यह पता लगा सकते हैं कि कौन से ग्राहक गर्भवती थे और यहां तक ​​कि वे अपनी नियत तारीखों के कितने करीब थे, जैसे कि वे किस प्रकार की खुराक और लोशन खरीद रहे थे। एक मामले में, लक्ष्य ने एक किशोर लड़की को सीधे शिशु उत्पादों के लिए कूपन मेल करना शुरू कर दिया, कंपनी के खिलाफ उसके पिता के गुस्से को भड़काने के लिए उसे उम्र-अनुचित विज्ञापन भेजने के लिए - जब तक कि उसे उसकी गर्भावस्था के बारे में पता नहीं चला [स्रोत: दातू , डुहिग , अर्थशास्त्री ]।

सरकारों और गोपनीयता अधिवक्ताओं ने लोगों की व्यक्तिगत रूप से पहचान योग्य जानकारी (PII) का उपयोग या खुलासा करने के तरीके को विनियमित करने का प्रयास किया है ताकि व्यक्तियों को सार्वजनिक ज्ञान पर कुछ हद तक नियंत्रण दिया जा सके। लेकिन भविष्य कहनेवाला विश्लेषण कई मौजूदा कानूनों को दरकिनार कर सकता है (जो मुख्य रूप से आपके वित्तीय, चिकित्सा जैसे विशिष्ट प्रकार के डेटा से निपटते हैंया शैक्षिक रिकॉर्ड) डिजिटल स्रोतों से एकत्रित जानकारी के अलग-अलग टुकड़ों का उपयोग करके कंपनियों को आपके बारे में अप्रत्यक्ष रूप से, और संभवतः आपकी जानकारी के बिना समाप्त करने की अनुमति देकर। कुछ कंपनियां विशिष्ट क्रेडिट स्कोर के अलावा अन्य डेटा का उपयोग करके संभावित ग्राहकों की क्रेडिट योग्यता की जांच करने के लिए जानकारी का उपयोग कर रही हैं, जो आपके लिए अच्छा या बुरा हो सकता है, यह इस बात पर निर्भर करता है कि वे क्या पाते हैं और इसकी व्याख्या कैसे करते हैं। हालांकि, एक चिंता की बात यह है कि इस प्रकार की व्यक्तिगत जानकारी से रोजगार, आवास या उधार संबंधी भेदभाव का पता लगाना मुश्किल हो सकता है। और इससे भी बदतर, यह हमेशा पूरी तरह सटीक नहीं हो सकता है।

बड़े डेटा में देखे गए पैटर्न का गलत अर्थ निकाला जाना और गलत निर्णय लेना भी संभव है। किसी भी उपकरण की तरह, परिणाम सभी इस बात पर निर्भर करते हैं कि इसका कितना अच्छा उपयोग किया जाता है। भले ही गणित शामिल है, बड़े डेटा विश्लेषण एक सटीक विज्ञान नहीं है, और मानव नियोजन और निर्णय लेने को कहीं न कहीं आना पड़ता है। विशाल डेटा सेट के साथ, निर्णय लेने की आवश्यकता है कि क्या महत्वपूर्ण है और क्या अनदेखा किया जा सकता है। लेकिन बिग डेटा एनालिटिक्स का अच्छा प्रदर्शन करने से कंपनियों को प्रतिस्पर्धात्मक लाभ मिल सकता है।

इस तरह के विश्लेषण का उपयोग उन चीजों के लिए किया जा सकता है जो स्पष्ट रूप से अच्छी हैं, जैसे कि धोखाधड़ी से लड़ना। बैंक, क्रेडिट कार्ड प्रदाता और अन्य कंपनियां जो पैसे का सौदा करती हैं, अब आपराधिक गतिविधि को इंगित करने वाले असामान्य पैटर्न को खोजने के लिए बड़े डेटा एनालिटिक्स का उपयोग कर रही हैं। एक व्यक्तिगत खाते पर, उन्हें असामान्य वस्तुओं की खरीद, ग्राहक द्वारा सामान्य रूप से खर्च नहीं की जाने वाली राशि, एक विषम भौगोलिक स्थिति या एक बहुत बड़ी खरीद के बाद एक छोटी परीक्षण खरीद जैसे लाल झंडों के प्रति सचेत किया जा सकता है। कई खातों में पैटर्न, जैसे एक ही क्षेत्र के विभिन्न कार्डों पर समान शुल्क, एक कंपनी को संभावित धोखाधड़ी व्यवहार के प्रति सचेत कर सकते हैं।

विशाल डेटा सेट वैज्ञानिक और समाजशास्त्रीय अनुसंधान, चुनाव पूर्वानुमान, मौसम पूर्वानुमान और अन्य सार्थक गतिविधियों में सहायता कर सकते हैं। सोशल मीडिया पोस्ट और Google खोजों का उपयोग यह पता लगाने के लिए भी किया गया है कि बीमारी का प्रकोप कहां हो रहा है। तो यह सब बुरी खबर नहीं है। सभी संभावित समस्याओं को दूर करने और संभावित नुकसान से हमारी रक्षा करने वाले कानूनों को लागू करने में अभी कुछ समय लगेगा। तब तक, यदि आप चिंतित हैं, तो हो सकता है कि आप नकद खरीद पर वापस लौटना चाहें और देखें कि आपने अपने बारे में क्या रखा है। फिर भी, हम में से किसी के लिए पूरी तरह से रडार से दूर होने के लिए शायद हम खरगोश के छेद से बहुत दूर हैं।

लेखक का नोट: 'बड़ा डेटा' क्या है?

किसी भी चीज़ की तरह, बड़े डेटा का उपयोग अच्छे के लिए, बीमार के लिए और बीच में बहुत सारी चीज़ों के लिए किया जा सकता है। विज्ञापनों और कूपनों को हम पर लक्षित करना एक सुविधा या एक बड़ी झुंझलाहट हो सकती है। और अजनबी हमारे बारे में केवल इसलिए सीख सकते हैं क्योंकि हम उनके स्टोर में प्लास्टिक स्वाइप कर रहे हैं या उनके कार्ड का उपयोग कर रहे हैं।

लॉयल्टी कार्ड जो मैंने हमेशा सोचा था कि हमारी खरीद पर डेटा इकट्ठा करने के तरीके थे, लेकिन मैंने वास्तव में इस बात की सराहना नहीं की थी कि अब तक डेबिट/क्रेडिट खरीद के माध्यम से व्यक्तिगत रूप से हमारे साथ कितना समान डेटा जुड़ा हुआ था, या हमारे जीवन के बारे में अविश्वसनीय विवरण जो कर सकता था उससे पहचाना जा सकता है। और इसमें इंटरनेट पर हमारे बारे में अन्य सभी जानकारी शामिल नहीं है।

मेरे हर कदम का विश्लेषण करने का विचार मुझे कुछ हद तक ग्रिड से बाहर जाना चाहता है, ऑनलाइन पोस्ट करना बंद कर देता है और हर चीज के लिए नकदी का उपयोग करता है। हालाँकि, हममें से अधिकांश, जिनमें मैं भी शामिल हूँ, शायद वैसे ही चलते रहेंगे जैसे हम सुविधा के उद्देश्य से हैं। मैं बस पोस्ट कर सकता हूं और खरीद सकता हूं जैसे कि मुझे देखा जा रहा है।

संबंधित आलेख