बस मेरे सामान पर चैटजीपीटी

चैटजीपीटी अच्छा है लेकिन मुझे पूरे इंटरनेट से जवाब नहीं चाहिए। मैं वास्तव में चाहता हूं कि यह मेरे सामान के बारे में जवाब दे। मुझे पसंद नहीं है जब यह ऐसी चीजें बनाता है जो वास्तविक लगती हैं लेकिन वास्तव में मौजूद नहीं हैं। क्या ऐसा कुछ है?

जाहिद ख्वाजा के सहयोग से लैंगचैन के लोगों ने हाल ही में एक डेमो जारी किया है जो ठीक यही करता है। उन्होंने GPT-3 के लिए विशेष संकेतों के साथ चतुराई से सिमेंटिक खोज को जोड़ा है, जो ChatGPT के उपयोगकर्ता अनुभव की नकल करता है, लेकिन प्रतिक्रियाओं को केवल LangChain के अपने तकनीकी दस्तावेज के बारे में सवालों के जवाब देने के लिए लंगर डाला जाता है।

आप उनके ब्लॉग पोस्ट को यहां देख सकते हैं ।

शब्दार्थ खोज

प्रक्रिया सिमेंटिक खोज से शुरू होती है, जिसमें दस्तावेज़ों को विखंडू में विभाजित करना शामिल है, फिर उन दस्तावेज़ विखंडू को एम्बेडिंग वैक्टर के साथ प्रस्तुत करना। इन वैक्टरों की गणना आपके दस्तावेज़ों के लिए अग्रिम रूप से की जा सकती है और वेक्टर स्टोर में संग्रहीत की जा सकती है। फिर जब कोई उपयोगकर्ता कोई प्रश्न पूछता है, तो वह प्रश्न उसी एम्बेडिंग मॉडल का उपयोग करके वेक्टर में परिवर्तित हो जाता है। सिमेंटिक समानता खोज दस्तावेज़ के उन हिस्सों को लौटाती है जो क्वेरी के सबसे समान होते हैं।

फोल्क्स थोड़ी देर के लिए सिमेंटिक खोज कर रहे हैं अब दस्तावेजों को एम्बेडिंग वैक्टर में बदलने के लिए BERT जैसे मॉडल का उपयोग कर रहे हैं। सिमेंटिक खोज उन वाक्यों या पैराग्राफों के साथ प्रतिक्रिया करने में सक्षम है जिनमें सबसे अधिक संभावना है कि उपयोगकर्ता जो उत्तर मांग रहा है, लेकिन यह पूरी तरह से प्रश्न का उत्तर नहीं देता है। चैटजीपीटी के बारे में लोगों को इतना उत्साहित करने का एक कारण यह है कि यह एक प्रश्न का अधिक स्वाभाविक लगने वाला उत्तर प्रदान करता है।

बड़ा भाषा मॉडल (एलएलएम)

एक बड़ा भाषा मॉडल सिमेंटिक खोज से कुछ अलग करता है। यह एक संकेत लेता है, और उस संकेत के आधार पर प्रतिक्रिया उत्पन्न करता है। एक संकेत एक प्रश्न हो सकता है लेकिन इसमें केवल प्रश्न से अधिक निर्देश भी शामिल हो सकते हैं। इसलिए, यदि मैं एक बड़े भाषा मॉडल को निर्देशों का एक सेट भेजता हूं, तो उन निर्देशों के आधार पर मुझे बहुत भिन्न व्यवहार मिल सकते हैं। तकनीकी लेख को सारांशित करने, सवालों के जवाब देने या अंग्रेजी से जर्मन में अनुवाद करने के लिए एक ही मॉडल का उपयोग किया जा सकता है।

यह एक चतुर संकेत है कि LangChain GPT-3 को अपनी इच्छा से झुकाता है। प्रॉम्प्ट, लैंगचैन अपने डेमो में उपयोग करता है, यहाँ दिखाया गया है:

You are an AI assistant for the open source library LangChain. The documentation is located at https://langchain.readthedocs.io.
You are given the following extracted parts of a long document and a question. Provide a conversational answer with a hyperlink to the documentation.
You should only use hyperlinks that are explicitly listed as a source in the context. Do NOT make up a hyperlink that is not listed.
If the question includes a request for code, provide a code block directly from the documentation.
If you don't know the answer, just say "Hmm, I'm not sure." Don't try to make up an answer.
If the question is not about LangChain, politely inform them that you are tuned to only answer questions about LangChain.
Question: {question}
=========
{context}
=========
Answer in Markdown:

यदि आप उत्तर नहीं जानते हैं, तो बस "हम्म, मुझे यकीन नहीं है" कहें। उत्तर बनाने का प्रयास न करें।

यह झूठे सकारात्मक परिणामों की संभावना को और कम कर देता है, जो लोगों को चैटजीपीटी से पसंद नहीं है।

उपयोगकर्ता प्रश्न वहीं रखा जाएगा जहां इस संकेत में { प्रश्न } दिखाया गया है। शब्दार्थ खोज के परिणाम { संदर्भ } में शामिल किए जाएंगे। इस संकेत का निर्माण GPT-3 को केवल संदर्भ से आए उत्तरों को प्रदान करने के लिए कहता है। उन उत्तरों में हमेशा ऐसे लिंक होंगे जो संदर्भ से चुने गए थे। अंत में, मार्कडाउन में उत्तर को स्वरूपित किया गया है ताकि डेवलपर्स अपने आवेदन में प्रतिक्रिया को अच्छी तरह से प्रदर्शित कर सकें।

सिमेंटिक सर्च ने काम का हिस्सा किया, केवल तकनीकी दस्तावेज के उन वर्गों की सेवा करके जो प्रश्न के लिए प्रासंगिक हैं। फिर GPT-3 एक संवादी शैली की प्रतिक्रिया के साथ कार्य को पूरा करता है जो प्रदान किए गए संदर्भ तक स्पष्ट रूप से सीमित है। इस तरह LangChain ChatGPT अनुभव प्रदान करने में सक्षम है, लेकिन केवल अपने दस्तावेज़ों के बारे में बात करने के दायरे को सीमित करता है।

अनुवर्ती प्रश्न

चैटजीपीटी अनुभव की एक महत्वपूर्ण और विभेदक विशेषता फॉलो-अप प्रश्न पूछने की क्षमता है। अगला उत्तर देते समय चैट इतिहास की स्मृति को ध्यान में रखा जाता है। अनुवर्ती प्रश्न अनुभव इस ऐप में एक और चतुर संकेत के साथ दिया गया है। डेवलपर चैट इतिहास और नया प्रश्न दोनों GPT-3 को भेजते हैं और LLM को एक नया एकल प्रश्न उत्पन्न करने के लिए संकेत देते हैं। यह नया एकल प्रश्न तब उस प्रक्रिया से चलता है जिसका वर्णन हमने पहले किया है। इस अनुरोध के लिए संकेत ऐसा दिखता है:

Given the following conversation and a follow up question, rephrase 
the follow up question to be a standalone question. You should assume 
that the question is related to LangChain.

आगे विचार

कुल मिलाकर, यह एक बेहतरीन डेमो है जो दिखाता है कि दस्तावेज़ों के एक विशिष्ट सेट के दायरे को सीमित करते हुए लोगों को चैटजीपीटी के बारे में जो लोग पसंद हैं उनकी क्षमताओं को वितरित करते हुए उस मीठे स्थान को कैसे प्राप्त कर सकते हैं। कॉर्पोरेट सेटिंग में कई उपयोग मामलों के लिए यह दृष्टिकोण लागू किया जा सकता है। जब मैं कॉर्पोरेट संदर्भ में इसके बारे में सोचता हूं तो ऐप के डिज़ाइन को लेकर मेरी एक चिंता है। प्रत्येक प्रश्न जो मेरे ग्राहक मेरे उत्पाद के बारे में पूछ रहे हैं, साथ ही मेरे उत्पाद के बारे में संबंधित जानकारी एक तृतीय पक्ष को भेजी जा रही है, इस मामले में OpenAI।

मौलिक स्तर पर यह किसी और के लिए मेरे उत्पाद के बारे में मेरे सभी ग्राहक के प्रश्नों के इस डेटासेट के लिए एक अच्छा विचार नहीं लगता है। एक नापाक अभिनेता मेरी कमजोरियों का फायदा उठाने के लिए संभावित रूप से इस डेटा को माइन कर सकता है। इसके लिए एक संभावित समाधान अपने निजी क्लाउड पर पूरी तरह से ओपनसोर्स एलएलएम (जैसे फ्लान-टी5 या जीपीटी-2) की मेजबानी करना है। फिर आरेख में प्रत्येक चरण पर जहां हम एलएलएम कहते हैं, हम उस एलएलएम के अपने निजी उदाहरण को कॉल कर रहे हैं। इस दृष्टिकोण का मतलब है कि आपके पास अपने क्लाउड इन्फ्रास्ट्रक्चर पर एक बड़े मॉडल को होस्ट करने के लिए पर्याप्त इंजीनियरिंग अश्वशक्ति होनी चाहिए, लेकिन यह मन की शांति के साथ आता है कि आप अपनी कंपनी के डेटा को ईथर में नहीं भेज रहे हैं।

निष्कर्ष

सिमेंटिक सर्च और एलएलएम का संयोजन कई व्यावसायिक अनुप्रयोगों के लिए बहुत सारे वादे दिखाता है। LangChain द्वारा विकसित रूपरेखा उन अनुप्रयोगों के निर्माण को आसान बनाएगी। इसलिए उस लाइब्रेरी को अपने रडार पर रखें।