बड़े भाषा मॉडल लागू करना

OpenAI ChatGPT ने दुनिया में तूफान ला दिया है। डेवलपर्स समुदाय द्वारा अपने एपीआई के साथ अभूतपूर्व प्रयोग द्वारा उपयोगकर्ताओं द्वारा गोद लेने की अनसुनी दर का मिलान किया गया है। एक भी दिन ऐसा नहीं जाता जब एक या दो नहीं बल्कि कई पीओसी ब्लॉग पर प्रकाशित या ट्वीट किए जाते हों। इसके बाद तकनीकी उन्माद को बढ़ावा देने वाले डेवलपर्स के एक और सेट द्वारा सुधार किया जाता है।

नए बड़े भाषा मॉडल (एलएलएम) के विकास में भी काफी तेजी आई है। फर्मों द्वारा नए मॉडलों की घोषणा की जा रही है या ओपन सोर्स बनाया जा रहा है। समस्या कथन के विभिन्न पहलुओं को हल करने के लिए कई ओपन सोर्स प्रोजेक्ट उपलब्ध हैं या शुरू किए गए हैं, जिसमें कस्टम मॉडल के प्रशिक्षण से लेकर फ़ाइनट्यूनिंग, डेटा कॉर्पस आदि शामिल हैं।

साथ ही डेवलपर समुदाय फ्रेमवर्क प्रकाशित करने के लिए तेजी से काम कर रहा है जो एलएलएम के साथ संचालन को आसान बना देगा। LangChain और Llama Index जैसे फ्रेमवर्क बॉयलरप्लेट कोड और फ्रेमवर्क प्रदान करते हैं जो बहुत सारे सामान्य और विशिष्ट मामलों को हल करते हैं। इसके अलावा, कोई उनका उपयोग अपने स्वयं के जटिल उपयोग मामलों के निर्माण के लिए कर सकता है।

इस प्रकार, हम देखते हैं कि संपूर्ण परिदृश्य अत्यधिक तीव्र गति से विकसित हो रहा है। वास्तव में, LangChain जैसे ढांचे हर दो दिनों में एक मामूली रिलीज देते हैं।

ओपनएआई का आवेदन

ओपनएआई एलएलएम का विशाल प्रशिक्षण डेटा उन्हें अत्यधिक बड़े ज्ञान कोष तक पहुंच प्रदान करता है। यह स्वाभाविक रूप से उन्हें सामग्री-आधारित उपयोग मामलों के आसपास काम करने के लिए आदर्श बनाता है।

कुछ उपयोग मामले जहां वे पहले ही लागू हो चुके हैं:

• सारांश
• सामग्री संवर्धन
• शीर्षक निर्माण
• अलग ढंग से व्यक्त
• शॉर्ट फॉर्म, ट्वीट्स, प्रेजेंटेशन पॉइंट इत्यादि जैसे कई प्रारूप बनाना।

उपरोक्त मामलों में, एलएलएम की भाषा क्षमताओं का उपयोग सामग्री संबंधी कार्यों को हल करने या सहायता करने के लिए किया गया था।

अन्य उपयोग मामले जहां एलएलएम के निहित ज्ञान का उपयोग किया जाता है:

• प्रश्नोत्तरी सामग्री पीढ़ी
• मतदान या सर्वेक्षण प्रश्नावली।

एक इनपुट कॉन्टेक्स्ट को पास करना और उसी पर सवालों का जवाब देना एक ऐसा काम है जिसमें एलएलएम काफी माहिर होते हैं। इस क्षमता का उपयोग कई सामग्री के लिए किया जा रहा है जैसे लांग फॉर्म आलेखों या पीडीएफ दस्तावेजों पर प्रश्नों का उत्तर प्राप्त करना।

समग्र समाधान में निम्नलिखित सामान्य प्रारूप में एक संकेत बनाना शामिल है:

प्रसंग:

अरुणाचल प्रदेश में ज़ीरो घाटी अपातानी जनजाति का घर है, और अपने चित्र-परिपूर्ण घाटी के दृश्यों के लिए जाना जाता है। ज़ीरो राजधानी शहर ईटानगर से लगभग 167 किलोमीटर दूर है, और यह ड्राइव अरुणाचल प्रदेश में आपके द्वारा अनुभव किए जाने वाले सबसे सुंदर ड्राइव में से एक है। घाटी हरे-भरे जंगल और छत के खेतों से घिरी हुई है जो साल के किसी भी समय आश्चर्यजनक लगती है। सड़क के किनारे दूर बहती हुई कोमल धाराओं को देखकर, आपको जीरो में शांति का अहसास होता है। कोई आश्चर्य नहीं कि घाटी अरुणाचल प्रदेश में सबसे अधिक देखी जाने वाली जगहों में से एक है।

ज़ीरो वैली की यह रमणीय सेटिंग मुख्य कारणों में से एक है कि वार्षिक ज़ीरो फेस्टिवल ऑफ़ म्यूज़िक यहाँ हरे घास के मैदान में आयोजित किया जाता है। उत्सव स्थल भारत के सबसे खूबसूरत स्थलों में से एक है। पूरे भारत और दुनिया भर से संगीत प्रेमी यहां त्योहार और शानदार माहौल के लिए आते हैं।

शीघ्र निर्देश: नीचे दिए गए प्रश्न का उत्तर ऊपर दिए गए संदर्भ से 100 शब्दों में दें

प्रश्न: जीरो राजधानी से कितनी दूर है?

उत्तर:

एलएलएम प्रदान किए गए संदर्भ से प्रश्न का उत्तर प्रदान करता है। वांछित परिणाम प्राप्त करने के लिए तत्काल सेटअप के साथ गड़बड़ करने की जरूरत है।

यह समग्र दृष्टिकोण सामग्री कॉर्पस के आधार पर उपयोगकर्ता प्रश्नों के उत्तर देने के लिए दुनिया को खोलता है। उदाहरण के लिए, बजट पर समाचारों और लेखों से निर्मित कोष का उपयोग पाठकों के प्रश्नों के सरल उत्तर देने के लिए किया जा सकता है। यह शॉर्ट सर्किट उपयोगकर्ता के पारंपरिक मॉडल को एक खोज स्ट्रिंग प्रदान करता है और फिर लेख लिंक का एक गुच्छा प्रदर्शित होता है, जिसे उपयोगकर्ता को अपने इच्छित उत्तर प्राप्त करने के लिए पढ़ने की आवश्यकता होती है। यह एक बेहतर उपयोगकर्ता अनुभव प्रदान करता है और उनका बहुत समय बचाता है।

दृष्टिकोण एलएलएम को सही संदर्भ प्रदान करने के इर्द-गिर्द घूमता है ताकि यह प्रश्न का उत्तर दे सके। इस प्रकार, अब समस्या यह है कि कॉर्पस से स्निपेट्स के सही सेट की पहचान कैसे की जाए जो क्वेरी के लिए प्रासंगिक हैं, क्योंकि एलएलएम ऐप में भेजे जाने वाले इनपुट की मात्रा की सीमाएँ हैं।

यह मुख्य रूप से अब एक खोज समस्या है। सामग्री को स्निपेट्स और अनुक्रमित में तोड़ा जा सकता है। ऐसा करने के लिए Pinecone या Milvus जैसे सदिश डेटाबेस का उपयोग किया जा सकता है। सामग्री वेक्टरकृत है और डेटाबेस में संग्रहीत है। जब उपयोगकर्ता कोई प्रश्न पूछता है, तो बस क्वेरी को वेक्टराइज़ करें और प्रासंगिक स्निपेट प्राप्त करने के लिए समानता खोज करें।

होशियार मुक्त पाठ खोज

पारंपरिक फ़िल्टर आधारित खोज की तुलना में UX के नज़रिए से मुफ़्त टेक्स्ट खोज आसान है। हालाँकि, इसमें उपयोगकर्ता द्वारा प्रदान किए गए टेक्स्ट इनपुट से खोज फ़िल्टर की पहचान करने के लिए जटिल पार्सिंग तर्क विकसित करना शामिल है। इस प्रकार, यह बग या निश्चित पाठ्य इनपुट स्वरूपों के एक छोटे सेट के लिए प्रवण है।

खोज पाठ को पार्स करने और खोज पैरामीटर की पहचान करने के लिए एलएलएम की भाषा क्षमता का लाभ उठाया जा सकता है।

समग्र समाधान में निम्नलिखित सामान्य प्रारूप में एक संकेत बनाना शामिल है:

शीघ्र निर्देश: प्रदान की गई इनपुट क्वेरी को निम्नलिखित JSON प्रारूप में पार्स करें ”

जेएसओएन प्रारूप:

{"स्थान": "एक स्थान का दौरा कर रहा है। अनिवार्य", "चेकइनडेट": "आरक्षण के लिए चेक-इन तिथि। अनिवार्य। प्रारूप dd/mm/yyyy", "checkOutDate" : "आरक्षण के लिए चेक-आउट तिथि। अनिवार्य। डिफ़ॉल्ट चेकइन प्लस 2 दिन। प्रारूप dd/mm/yyyy", "minimumRating": "होटल के लिए आवश्यक न्यूनतम रेटिंग। वैकल्पिक", "अधिकतम मूल्यप्रति रात": "प्रति रात अधिकतम मूल्य भुगतान करने को तैयार है। वैकल्पिक" }

उदाहरण:

सवाल: 23 जुलाई से 28 जुलाई तक शिमला में 4 और उससे ऊपर की रेटिंग वाले कमरे ढूंढ रहे हैं।

उत्तर: {"स्थान": "शिमला", "चेकइनडेट": "23/07/2023", "चेकआउटडेट": "28/07/2023", "न्यूनतम रेटिंग": "4"}

सवाल: दार्जिलिंग में 15 अगस्त से 3 दिनों के लिए कमरे तलाश रहे हैं।

उत्तर: {"स्थान": "दार्जिलिंग", "चेकइनडेट": "15/08/2023", "चेकआउटडेट": "17/08/2023"}

प्रश्नः 3 सितंबर से पांडिचेरी में 5 दिन की छुट्टी पर जा रहे हैं।

उत्तर:

इस मामले में, हमने एलएलएम की जीरो शॉट लर्निंग नामक क्षमता का उपयोग किया। निर्देशों के अलावा हमने प्रश्नों के एक सेट के लिए अपेक्षित परिणाम दिखाने के लिए कुछ नमूना उदाहरण भी दिए। एलएलएम ने नमूनों के छोटे सेट से सीखकर अपने व्यवहार को ठीक करने में महान क्षमताओं का प्रदर्शन किया है।

एलएलएम उपयोगकर्ता क्वेरी को पार्स करेगा और एक निश्चित प्रारूप में JSON प्रदान करेगा। इसके बाद वास्तविक खोज कार्यक्षमता को शक्ति प्रदान करने के लिए इसका उपयोग किया जा सकता है।

इस मामले में एलएलएम अनिवार्य रूप से एक स्मार्ट टेक्स्ट पार्सर है।

समर्थन बीओटी

आइए इस उपयोग के मामले का पता लगाने के लिए एक यात्रा बुकिंग एप्लिकेशन का उदाहरण लें।

एक उपयोगकर्ता एक एप्लिकेशन का उपयोग करने के तरीके, या सामान्य लाभ आदि के बारे में प्रश्नों के उत्तर प्राप्त करने के लिए एक समर्थन बॉट के साथ बातचीत करता है। या वे अपने लेनदेन के बारे में उत्तर प्राप्त करना चाहते हैं जो उन्होंने एप्लिकेशन पर किया है।

एप्लिकेशन के सामान्य उपयोग का एक कोष, एप्लिकेशन से जुड़ी सामग्री उसी पर प्रश्नों का उत्तर देने के लिए बनाई जा सकती है।

इसी तरह, एक स्मार्ट एलएलएम आधारित क्वेरी पार्सर का उपयोग उनकी बुकिंग के आसपास उपयोगकर्ता प्रश्नों को पार्स करने और फिर बुकिंग रिकॉर्ड प्राप्त करने के लिए किया जा सकता है। चूंकि एक एप्लिकेशन में कई प्रकार के उपयोगकर्ता लेनदेन हो सकते हैं, एलएलएम पार्सर को लेनदेन के प्रकार के साथ-साथ विशेष लेनदेन के लिए पैराम प्रदान करने के लिए ट्यून किया जा सकता है।

एक सिंगल फ्रंटएंड बॉट पर एक साथ दोनों कार्यक्षमताओं को शामिल करने में एक कदम भी शामिल होगा जिससे हमें यह पहचानने की आवश्यकता है कि उपयोगकर्ता का इरादा क्या है, क्या क्वेरी लेन-देन कैसे करें या अंतिम लेनदेन की स्थिति के बारे में है। यहां, एलएलएम का उपयोग उपयोगकर्ता के इरादे की सही पहचान करने के लिए किया जा सकता है।

इस प्रकार, समग्र समाधान में शामिल हैं:

• आशय की पहचान: कॉर्पस क्वेरी या बुकिंग क्वेरी
• प्रसंस्करण कॉर्पस क्वेरी
• कॉर्पस खोज रहा है
• प्रासंगिक स्निपेट की पहचान करना
• प्रासंगिक स्निपेट्स और उपयोगकर्ता क्वेरी पास करने वाले एलएलएम को लागू करना।
• प्रसंस्करण बुकिंग क्वेरी
• प्रकार और मापदंडों की पहचान करने के लिए एलएलएम को आमंत्रित करना
• पार्स एलएलएम प्रतिक्रिया JSON।
• उचित कार्यों का आह्वान करना।

एलएलएम काम करने के लिए कुछ चुनौतियों के साथ आता है।

परंपरागत रूप से, डेवलपर्स का उपयोग नियतात्मक दुनिया में काम करने के लिए किया जाता है। फ़ंक्शन इनवोकेशन से प्रतिक्रियाएँ प्रकृति में नियतात्मक होती हैं, तब भी जब वे विफल होती हैं और त्रुटियां पैदा करती हैं।

हालांकि, एलएलएम एक संभाव्य तरीके से काम करता है। जरूरी नहीं कि उनकी प्रतिक्रिया हमेशा वैसी ही हो जैसी हम भविष्यवाणी करते हैं। इसका मतलब यह है कि अनुप्रयोगों का विकास करते समय उनका उपयोग करते हुए डेवलपर्स को हमेशा इसके बारे में पता होना चाहिए और अप्रत्याशित को संभालने के लिए उचित लचीलापन बनाना चाहिए।

OpenAI API का प्रतिक्रिया समय प्रकृति में बहुत संवेदनशील है। वे 2-12 सेकंड से लेकर हैं। बहुत कुछ शामिल सामग्री की मात्रा पर निर्भर करता है। उदाहरण के लिए एक बड़ा संदर्भ भेजने और एक प्रश्न के लिए विस्तृत प्रतिक्रिया की अपेक्षा करने में एलएलएम के लिए बहुत अधिक संगणना शामिल होगी, इस प्रकार प्रतिक्रिया समय अधिक होगा। इसमें से कुछ को स्ट्रीमिंग एपीआई में स्थानांतरित करके धारणा-वार संभाला जा सकता है, लेकिन इसका मतलब यह होगा कि अंतिम उत्तर अपेक्षाकृत उच्च समय के बाद पूरा होता है, पारंपरिक एपीआई प्रतिक्रिया समय एसएलए की तुलना में।

संकेत वह प्राथमिक तरीका है जिससे आप एलएलएम को निर्देश देते हैं कि हम उसे क्या करना चाहते हैं। संकेतों का सही होना इस प्रकार महत्वपूर्ण है। हालाँकि, इसके साथ एक सीखने की अवस्था जुड़ी हुई है। इसके अलावा, एलएलएम के एक संस्करण के साथ काम करने का संकेत दूसरे के साथ थोड़ा अलग तरीके से काम करता है, ऐसा करने के लिए ट्वीक की आवश्यकता होती है।

एक प्रौद्योगिकी के रूप में एलएलएम ने समस्याओं को हल करने के नए तरीके ईजाद करने की संभावनाओं को खोल दिया है। हम अभी भी इसकी वास्तविक क्षमता को समझने के मुहाने पर हैं। नए विचार जो हर रोज इंटरनेट पर आ रहे हैं, इस तथ्य का प्रमाण है कि आगे रोमांचक समय आने वाला है।