जेनसिम - विषय मॉडलिंग

यह अध्याय Gensim के संबंध में विषय मॉडलिंग से संबंधित है।

हमारे डेटा को एनोटेट करने और वाक्य संरचना को समझने के लिए, कम्प्यूटेशनल भाषाई एल्गोरिदम का उपयोग करने का सबसे अच्छा तरीका है। कोई शक नहीं, इन कम्प्यूटेशनल भाषाई एल्गोरिदम की मदद से हम अपने डेटा के बारे में कुछ बारीक बारीकियों को समझ सकते हैं लेकिन,

• क्या हम जान सकते हैं कि हमारे कोष में दूसरों की तुलना में किस तरह के शब्द अधिक बार दिखाई देते हैं?

• क्या हम अपना डेटा ग्रुप कर सकते हैं?

• क्या हम अपने डेटा में अंतर्निहित विषय हो सकते हैं?

हम विषय मॉडलिंग की मदद से इन सभी को प्राप्त करने में सक्षम होंगे। तो आइए विषय के मॉडल की अवधारणा में गहरी डुबकी लगाएं।

विषय मॉडल क्या हैं?

एक विषय मॉडल को हमारे पाठ में विषयों के बारे में जानकारी रखने वाले संभावित मॉडल के रूप में परिभाषित किया जा सकता है। लेकिन यहां दो महत्वपूर्ण सवाल उठते हैं जो इस प्रकार हैं -

प्रथम, what exactly a topic is?

विषय, जैसा कि नाम से तात्पर्य है, अंतर्निहित विचार या हमारे पाठ में दर्शाए गए विषय हैं। आपको एक उदाहरण देने के लिए, युक्त कोषnewspaper articles से संबंधित विषय होंगे finance, weather, politics, sports, various states news और इसी तरह।

दूसरा, what is the importance of topic models in text processing?

जैसा कि हम जानते हैं कि, पाठ में समानता की पहचान करने के लिए, हम शब्दों का उपयोग करके सूचना पुनर्प्राप्ति और खोज तकनीकों को कर सकते हैं। लेकिन, विषय मॉडल की मदद से, अब हम शब्दों के बजाय विषयों का उपयोग करके अपनी पाठ फ़ाइलों को खोज और व्यवस्थित कर सकते हैं।

इस अर्थ में हम कह सकते हैं कि विषय शब्दों के संभाव्य वितरण हैं। इसीलिए, विषय मॉडल का उपयोग करके, हम अपने दस्तावेजों को विषयों के संभाव्य वितरण के रूप में वर्णित कर सकते हैं।

टॉपिक मॉडल के लक्ष्य

जैसा कि ऊपर चर्चा की गई है, विषय मॉडलिंग का ध्यान अंतर्निहित विचारों और विषयों के बारे में है। इसके मुख्य लक्ष्य इस प्रकार हैं -

• विषय मॉडल पाठ संक्षेपण के लिए इस्तेमाल किया जा सकता है।

• उनका उपयोग दस्तावेजों को व्यवस्थित करने के लिए किया जा सकता है। उदाहरण के लिए, हम समूह समाचार लेखों में विषय मॉडलिंग का उपयोग एक संगठित / परस्पर संबंधित खंड में कर सकते हैं जैसे कि सभी समाचार लेखों को व्यवस्थित करनाcricket।

• वे खोज परिणाम में सुधार कर सकते हैं। कैसे? खोज क्वेरी के लिए, हम विभिन्न मॉडलों के मिश्रण वाले दस्तावेज़ को प्रकट करने के लिए विषय मॉडल का उपयोग कर सकते हैं, लेकिन एक ही विचार के बारे में हैं।

• सिफारिशों की अवधारणा विपणन के लिए बहुत उपयोगी है। यह विभिन्न ऑनलाइन शॉपिंग वेबसाइटों, समाचार वेबसाइटों और कई और अधिक द्वारा उपयोग किया जाता है। विषय मॉडल क्या खरीदने के लिए, आगे क्या पढ़ना है आदि के बारे में सिफारिशें करने में मदद करता है। वे सूची में एक सामान्य विषय वाली सामग्री ढूंढकर करते हैं।

गेन्सिम में विषय मॉडलिंग एल्गोरिदम

निस्संदेह, Gensim सबसे लोकप्रिय विषय मॉडलिंग टूलकिट है। इसकी मुफ्त उपलब्धता और पायथन में होने के कारण यह अधिक लोकप्रिय है। इस खंड में, हम कुछ सबसे लोकप्रिय विषय मॉडलिंग एल्गोरिदम पर चर्चा करेंगे। यहाँ, हम 'कैसे' के बजाय 'क्या' पर ध्यान केन्द्रित करेंगे क्योंकि गेंसिम हमारे लिए बहुत अच्छा है।

अव्यक्त डिरिचलेट आवंटन (LDA)

लेटेंट डिरिचलेट आवंटन (LDA) सबसे आम और लोकप्रिय तकनीक है जो वर्तमान में विषय मॉडलिंग के लिए उपयोग में है। यह वह है जिसे फेसबुक शोधकर्ताओं ने 2013 में प्रकाशित अपने शोध पत्र में इस्तेमाल किया था। यह पहली बार डेविड बेली, एंड्रयू एनजी, और माइकल जॉर्डन ने 2003 में प्रस्तावित किया था। उन्होंने एलडीए को अपने पेपर में प्रस्तावित किया था जो कि केवल हकदार था।Latent Dirichlet allocation।

एलडीए के लक्षण

आइए जानते हैं इस अद्भुत तकनीक के बारे में इसकी विशेषताओं के बारे में -

Probabilistic topic modeling technique

एलडीए एक संभावित विषय मॉडलिंग तकनीक है। जैसा कि हमने ऊपर चर्चा की है, विषय मॉडलिंग में हम मानते हैं कि किसी भी तरह के परस्पर संबंधित दस्तावेजों का संग्रह (अकादमिक पत्र, समाचार पत्र लेख, फेसबुक पोस्ट, ट्वीट्स, ई-मेल और इतने पर हो सकता है), प्रत्येक दस्तावेज़ में शामिल विषयों के कुछ संयोजन हैं। ।

संभाव्य विषय मॉडलिंग का मुख्य लक्ष्य परस्पर संबंधित दस्तावेजों के संग्रह के लिए छिपे हुए विषय संरचना की खोज करना है। निम्नलिखित तीन चीजें आम तौर पर एक विषय संरचना में शामिल होती हैं -

• Topics

• दस्तावेजों के बीच विषयों का सांख्यिकीय वितरण

• एक दस्तावेज़ में विषय शामिल शब्द

Work in an unsupervised way

LDA अनचाहे तरीके से काम करता है। यह इसलिए है, क्योंकि एलडीए छिपे हुए विषय संरचना की खोज के लिए सशर्त संभावनाओं का उपयोग करता है। यह मानता है कि विषयों को असंबद्ध दस्तावेजों के संग्रह में असमान रूप से वितरित किया जाता है।

Very easy to create it in Gensim

Gensim में, LDA मॉडल बनाना बहुत आसान है। हमें बस कॉर्पस, डिक्शनरी मैपिंग और उन विषयों की संख्या को निर्दिष्ट करने की आवश्यकता है जिन्हें हम अपने मॉडल में उपयोग करना चाहते हैं।

Model=models.LdaModel(corpus, id2word=dictionary, num_topics=100)

May face computationally intractable problem

हर संभव विषय संरचना की संभावना की गणना करना एलडीए द्वारा सामना की जाने वाली एक कम्प्यूटेशनल चुनौती है। यह चुनौतीपूर्ण है क्योंकि, इसे हर संभव विषय संरचना के तहत प्रत्येक देखे गए शब्द की संभावना की गणना करने की आवश्यकता है। यदि हमारे पास बड़ी संख्या में विषय और शब्द हैं, तो एलडीए कम्प्यूटेशनल रूप से अंतरंग समस्या का सामना कर सकता है।

अव्यक्त शब्दार्थ अनुक्रमण (LSI)

विषय मॉडलिंग एल्गोरिदम जो पहली बार के साथ जेनसिम में लागू किया गया था Latent Dirichlet Allocation (LDA) है Latent Semantic Indexing (LSI)। इसे कहते भी हैंLatent Semantic Analysis (LSA)।

इसे 1988 में स्कॉट डियरवेस्टर, सुसान डुमिस, जॉर्ज फर्नेस, रिचर्ड हर्शमैन, थॉमस लैंडौर, करेन लोचबूम और लिन स्ट्रीटर ने पेटेंट कराया। इस खंड में हम अपना LSI मॉडल स्थापित करने जा रहे हैं। यह एलडीए मॉडल स्थापित करने के उसी तरीके से किया जा सकता है। हमें LSI मॉडल से आयात करने की आवश्यकता हैgensim.models।

LSI की भूमिका

दरअसल, एलएसआई एक तकनीक एनएलपी है, विशेष रूप से वितरणात्मक शब्दार्थ में। यह दस्तावेजों के एक सेट के बीच संबंधों का विश्लेषण करता है और इन दस्तावेजों में ये शब्द होते हैं। अगर हम इसके काम करने के बारे में बात करते हैं, तो यह एक मैट्रिक्स का निर्माण करता है जिसमें पाठ के एक बड़े टुकड़े से प्रति दस्तावेज शब्द मायने रखता है।

एक बार निर्माण के बाद, पंक्तियों की संख्या को कम करने के लिए, एलएसआई मॉडल एक गणितीय तकनीक का उपयोग करता है जिसे विलक्षण मूल्य अपघटन (एसवीडी) कहा जाता है। पंक्तियों की संख्या को कम करने के साथ, यह स्तंभों के बीच समानता संरचना को भी संरक्षित करता है। मैट्रिक्स में, पंक्तियाँ अद्वितीय शब्दों का प्रतिनिधित्व करती हैं और कॉलम प्रत्येक दस्तावेज़ का प्रतिनिधित्व करते हैं। यह वितरण संबंधी परिकल्पना के आधार पर काम करता है यानी यह मानता है कि जो शब्द अर्थ में करीब हैं वे एक ही तरह के पाठ में होंगे।

Model=models.LsiModel(corpus, id2word=dictionary, num_topics=100)

पदानुक्रमित डिरिलेट प्रक्रिया (HDP)

एलडीए और एलएसआई जैसे टॉपिक मॉडल उन ग्रंथों के बड़े अभिलेखों को संक्षेप और व्यवस्थित करने में मदद करते हैं जिनका विश्लेषण हाथ से करना संभव नहीं है। एलडीए और एलएसआई के अलावा, जेनसिम में एक अन्य शक्तिशाली विषय मॉडल एचडीपी (पदानुक्रमित डिरिक्लेट प्रक्रिया) है। यह मूल रूप से समूहीकृत डेटा के अप्रकाशित विश्लेषण के लिए एक मिश्रित-सदस्यता मॉडल है। एलडीए (इसके परिमित प्रतिपक्ष) के विपरीत, एचडीपी डेटा से विषयों की संख्या को बढ़ाता है।

Model=models.HdpModel(corpus, id2word=dictionary