"' एआई के गॉडफादर' Google को छोड़ देता है और आगे खतरे की चेतावनी देता है ", न्यूयॉर्क टाइम्स का शीर्षक है। हम कैसे जान सकते हैं कि अगर एलएम खुले स्रोत नहीं हैं तो वे मानवता के लिए खतरा हैं या नहीं? वास्तव में क्या हो रहा है? कैसे भाषा मॉडल की दुनिया परिवर्तन के कगार पर है।

ओपन-सोर्स धर्मयुद्ध का आह्वान

कुछ समय पहले GPT-4 को जनता के सामने प्रकट किया गया था, और मुझे लगता है कि हम सभी तकनीकी रिपोर्ट पढ़ने गए और निराश हुए।

हाल ही में, नेचर ने भी इस मुद्दे को संबोधित किया : हमें ओपन-सोर्स होने के लिए बड़े भाषा मॉडल (एलएलएम) की आवश्यकता है।

कई एलएलएम मालिकाना हैं, जारी नहीं किए गए हैं, और हम नहीं जानते कि उन्हें किस डेटा पर प्रशिक्षित किया गया था। यह उन्हें विशेष रूप से पूर्वाग्रह के संबंध में सीमाओं के लिए निरीक्षण और परीक्षण करने की अनुमति नहीं देता है।

इसके अलावा, चैटजीपीटी के साथ जानकारी और कोड साझा करने से लीक होने का खतरा है, जैसा कि सैमसंग ने खोजा है । उल्लेख नहीं है कि कुछ राज्यों का मानना ​​है कि इन कंपनियों द्वारा डेटा संग्रहण GDPR का उल्लंघन करता है ।

यही कारण है कि हमें एलएलएम को ओपन-सोर्स होने की आवश्यकता है, और नए एलएलएम के विकास में अधिक निवेश होना चाहिए, जैसे कि ब्लूम कंसोर्टियम (170 बी पैरामीटर एलएलएम जो एक शैक्षणिक संघ द्वारा विकसित किया गया था)।

इन एलएलएम की वास्तविक क्षमताओं और आर्टिफिशियल इंटेलिजेंस के जोखिम दोनों के बारे में हाल के महीनों में अक्सर सनसनीखेज बातें होती रही हैं। यदि शोधकर्ता मॉडलों का परीक्षण नहीं कर सकते हैं, तो वे वास्तव में अपनी क्षमताओं का आकलन नहीं कर सकते हैं, और जोखिमों का विश्लेषण करने के लिए भी ऐसा ही है। इसके अलावा, एक ओपन-सोर्स मॉडल कहीं अधिक पारदर्शी होता है और समुदाय समस्याग्रस्त व्यवहार के स्रोत की पहचान करने का भी प्रयास कर सकता है।

इसके अलावा, यह अकादमिक द्वारा मांग नहीं है, संस्थान एआई द्वारा चिंतित हैं। यूरोपीय संघ इन दिनों ईयू एआई अधिनियम पर चर्चा कर रहा है जो एलएलएम के भविष्य को नया रूप दे सकता है। वहीं, व्हाइट हाउस एआई के जोखिम को सीमित करने के लिए टेक सीईओ पर जोर दे रहा है । इस प्रकार, खुला स्रोत वास्तव में भाषा मॉडल के लिए भविष्य की आवश्यकता हो सकता है।

चैटजीपीटी इतना अच्छा क्यों है?

हम सभी ने ChatGPT के बारे में सुना है, और यह कैसे क्रांतिकारी लगता है। लेकिन इसकी ट्रेनिंग कैसे हुई?

सब कुछ लेकिन चैटजीपीटी के बारे में वह सब कुछ जो आपको जानने की जरूरत है

आइए इस तथ्य से शुरू करें कि चैटजीपीटी को एलएलएम (जीपीटी 3.5 सटीक होना) के आधार पर प्रशिक्षित किया गया था। आम तौर पर, इन जीपीटी-जैसे भाषा मॉडल को अनुक्रम में अगले टोकन की भविष्यवाणी का उपयोग करके प्रशिक्षित किया जाता है (टोकन डब्ल्यू के अनुक्रम से, मॉडल को अगले टोकन डब्ल्यू + 1 की भविष्यवाणी करनी चाहिए)।

मॉडल आमतौर पर एक ट्रांसफॉर्मर होता है: इसमें एक एनकोडर होता है जो अनुक्रम के रूप में इनपुट प्राप्त करता है और एक डिकोडर जो आउटपुट अनुक्रम उत्पन्न करता है। इस प्रणाली का दिल मल्टी-हेड सेल्फ-अटेंशन है , जो मॉडल को अनुक्रम के विभिन्न भागों के बीच संदर्भ और निर्भरता के बारे में जानकारी सीखने की अनुमति देता है।

GPT-3 को इस सिद्धांत के साथ प्रशिक्षित किया गया था (जेनरेटिव प्री-ट्रेनिंग ट्रांसफॉर्मर, GPT, परिवार में अन्य मॉडलों की तरह), केवल कई और मापदंडों और बहुत अधिक डेटा (570 GB डेटा और 176 B मापदंडों) के साथ।

GPT3 में ज़बरदस्त क्षमताएँ हैं लेकिन जब पाठ उत्पन्न करने की बात आती है तो यह अक्सर मतिभ्रम करता है, इसमें सहायकता की कमी होती है, इसकी व्याख्या नहीं की जा सकती है, और इसमें अक्सर पूर्वाग्रह होते हैं। इसका मतलब यह है कि मॉडल मानव की तरह पाठ उत्पन्न करने वाले मॉडल से हमारी अपेक्षा के अनुरूप नहीं है

हम GPT-3 से ChatGPT कैसे प्राप्त करते हैं?

प्रक्रिया को ह्यूमन फीडबैक (आरएचएलएफ) से सुदृढीकरण सीखना कहा जाता है, और इस लेख में लेखकों द्वारा वर्णित किया गया था:

यहाँ मैं इसका वर्णन बहुत ही सामान्य और संक्षिप्त रूप से करूँगा। विशेष रूप से, इसमें तीन चरण होते हैं:

1. पर्यवेक्षित फ़ाइन-ट्यूनिंग , पहला चरण है जिसमें LLM को पर्यवेक्षित नीति (बेसलाइन मॉडल या SFT मॉडल) सीखने के लिए फ़ाइन-ट्यून किया जाता है।
2. मानवीय प्राथमिकताओं की नकल करें , इस चरण में, टिप्पणीकारों को बेसलाइन मॉडल से आउटपुट के एक सेट पर मतदान करना चाहिए। इस क्यूरेटेड डेटासेट का इस्तेमाल एक नए मॉडल, इनाम मॉडल को प्रशिक्षित करने के लिए किया जाता है।
3. समीपस्थ नीति अनुकूलन (पीपीओ) , यहां इनाम मॉडल का उपयोग एसएफटी मॉडल को ठीक करने और नीति मॉडल प्राप्त करने के लिए किया जाता है।

लेखकों ने एक मॉडल GPT-3.5 के रूप में उपयोग किया जो पहले से ही प्रोग्रामिंग कोड पर ठीक-ठाक था, यह ChatGPT की कोड क्षमताओं की भी व्याख्या करता है।

अब यह कदम बिल्कुल मापनीय नहीं है क्योंकि यह पर्यवेक्षित शिक्षण है। किसी भी स्थिति में, इस प्रकार प्राप्त मॉडल अभी तक संरेखित नहीं हुआ है।

एनोटेटर्स ने एसएफटी मॉडल से प्रतिक्रियाओं की एक श्रृंखला को नोट किया, इस तरह की प्रतिक्रिया कितनी वांछनीय है (सबसे खराब से सर्वोत्तम)। अब हमारे पास एक बहुत बड़ा डेटासेट (10 x) है और नए मॉडल के लिए SFT मॉडल प्रतिक्रियाएँ प्रदान करता है, जिसे वरीयता के क्रम में रैंक करना चाहिए।

इस चरण के दौरान, मॉडल डेटा के बारे में एक सामान्य नीति सीख रहा है, और इसके इनाम को अधिकतम कैसे करें (जब वह आउटपुट को अच्छी तरह से रैंक करने में सक्षम हो)।

तो हमारे पास एसएफटी मॉडल है, और हम एक नए पीपीओ मॉडल को आरंभ करने के लिए इसके वजन का उपयोग करते हैं। यह मॉडल समीपस्थ नीति अनुकूलन (पीपीओ) का उपयोग करके ठीक किया गया है।

दूसरे शब्दों में, हम सुदृढीकरण सीखने के एल्गोरिदम का उपयोग करते हैं। पीपीओ मॉडल एक यादृच्छिक संकेत प्राप्त करता है और संकेत का जवाब देता है, जिसके बाद उसे जुर्माना या इनाम मिलता है। शास्त्रीय क्यू-लर्निंग के बजाय , यहां मॉडल नीति को प्रत्येक प्रतिक्रिया के लिए अपडेट किया जाता है (मॉडल नीति पर सीधे अनुभव से सीखता है)।

इसके अलावा, लेखक मॉडल के प्रतिक्रिया वितरण को एसएफटी मॉडल के समान बनाने के लिए प्रति-टोकन कुल्बैक-लीब्लर (केएल) पेनल्टी का उपयोग करते हैं। ऐसा इसलिए है क्योंकि हम मॉडल को आरएल (इनाम मॉडल के कारण) के साथ अनुकूलित करना चाहते हैं, लेकिन हम अभी भी यह नहीं चाहते हैं कि यह भूल जाए कि इसने चरण 1 में क्या सीखा, जो कि मनुष्यों द्वारा क्यूरेट किए गए संकेत हैं।

अंत में, मॉडल का मूल्यांकन तीन पहलुओं पर किया जाता है: सहायकता, सच्चाई और हानिरहितता। आखिरकार, ये वही पहलू थे जिन्हें हम अनुकूलित करना चाहते थे।

एक जिज्ञासु बात यह है कि जब मॉडल का मूल्यांकन क्लासिक बेंचमार्क (प्रश्न का उत्तर, सारांश, वर्गीकरण) पर किया जाता है, तो उसका प्रदर्शन GPT-3 से कम होता है। यह संरेखण की लागत है।

अल्पाका, एक क्रांतिकारी जानवर

जैसा कि उल्लेख किया गया है कि इन मॉडलों के व्यवहार का अध्ययन करने की वास्तविक आवश्यकता है और यह तभी संभव है जब वे खुले स्रोत हों। दूसरी ओर, किसी भी LM को RHLF का उपयोग करके संरेखित किया जा सकता है।

खरोंच से एक मॉडल को प्रशिक्षित करने की तुलना में आरएचएलएफ बहुत कम खर्चीला और कम्प्यूटेशनल रूप से गहन है। दूसरी ओर, यह आवश्यक है कि एनोटेटर हों (आपको वास्तव में निर्देशों के साथ डेटासेट की आवश्यकता है)। लेकिन क्या ये कदम स्वचालित नहीं हो सकते?

पहला कदम स्व-निर्देश था , 2022 के इस लेख में, लेखक एक अर्ध-स्वचालित विधि का प्रस्ताव करते हैं। वास्तव में, सामान्य विचार मैन्युअल रूप से लिखित निर्देशों के एक सेट से शुरू करना है। निर्देशों का यह सेट बीज के रूप में कार्य करता है और यह सुनिश्चित करने के लिए कि अधिकांश एनएलपी कार्यों को कवर किया गया है।

तब से केवल 175 निर्देशों के साथ मॉडल को डेटासेट (50k निर्देश) उत्पन्न करने के लिए प्रेरित किया। डेटासेट का उपयोग तब निर्देश ट्यूनिंग के लिए किया गया था।

एक विधि होने के लिए केवल एक मॉडल की आवश्यकता होती है। ChatGPT OpenAI GPT-3.5 पर आधारित है, लेकिन क्या छोटे मॉडल का उपयोग नहीं किया जा सकता है? क्या इसे आवश्यक रूप से 100 से अधिक बी पैरामीटर की आवश्यकता है?

इसके बजाय, स्टैनफोर्ड के शोधकर्ताओं ने LLaMA और विशेष रूप से 7B संस्करण और 52 K निर्देशों का उपयोग स्व-निर्देश विधि (OpenAI के टेक्स्ट-डेविंसी-003 का उपयोग करके उत्पन्न निर्देश) के बाद उत्पन्न किया। अल्पाका का वास्तविक मूल्य यह है कि लेखकों ने पाइपलाइन को सरल बनाया और लागत को बहुत कम कर दिया ताकि कोई अकादमिक प्रयोगशाला प्रक्रिया को दोहरा सके (जो इस भंडार में है )। जैसा कि वास्तव में कहा गया है:

हमारे शुरुआती रन के लिए, 7B LLaMA मॉडल को फ़ाइन-ट्यूनिंग करने में 8 80GB A100s पर 3 घंटे लगे, जिसकी लागत अधिकांश क्लाउड कंप्यूट प्रदाताओं पर $100 से कम है। ( स्रोत )

प्रारंभिक मॉडल मूल्यांकन से पता चला है कि अल्पाका GPT-3.5 में लगभग अच्छा है (कुछ मामलों में इससे भी अधिक)। यह आश्चर्यजनक लग सकता है क्योंकि यह एक ऐसा मॉडल है जो 20 गुना छोटा है। दूसरी ओर, इनपुट की एक श्रृंखला में मॉडल GPT की तरह व्यवहार करता है (इसलिए प्रशिक्षण एक प्रकार के ज्ञान आसवन के रूप में कार्य करता है)। दूसरी ओर, मॉडल में विशिष्ट भाषा मॉडल के समान सीमाएं होती हैं, जो मतिभ्रम, विषाक्तता और रूढ़िवादिता दिखाती हैं।

अल्पाका तब प्रदर्शित करता है कि कोई भी अकादमिक प्रयोगशाला चैटजीपीटी के अपने स्वयं के संस्करण को प्रशिक्षित कर सकती है ( एलएलएएमए का उपयोग करके , जो केवल अनुसंधान के लिए उपलब्ध है)। दूसरी ओर, किसी अन्य मॉडल का उपयोग करने वाली कोई भी कंपनी चैटजीपीटी के अपने संस्करण को संरेखित और बना सकती है। इसके अलावा, समान मॉडल अभी भी सेल फोन या रास्पबेरी पाई कंप्यूटर पर तैनात किए जा सकते हैं ।

लेखकों ने एक डेमो जारी किया, लेकिन इसे थोड़े समय के बाद बंद कर दिया गया (सुरक्षा की दृष्टि से)। इसके अलावा, हालांकि किसी को LLaMA (और मॉडल वेट तक पहुंच) का उपयोग करने के लिए आवेदन करना पड़ता था, कुछ दिनों बाद मॉडल ऑनलाइन लीक हो गया था ।

क्या एलएलएम एक क्रांति की सीमा पर हैं?

ऐसा लगता है कि चैटजीपीटी को जारी हुए कई साल हो गए हैं, लेकिन इसके बजाय, यह केवल कुछ महीने ही था। उस समय तक हम शक्ति कानून के बारे में बात कर रहे थे, कैसे एक मॉडल के लिए अधिक पैरामीटर, अधिक डेटा और अधिक प्रशिक्षण होना आवश्यक था ताकि आकस्मिक व्यवहारों की उत्पत्ति की अनुमति दी जा सके।

इन विचारों ने इस विचार को जन्म दिया कि हम भाषा मॉडल के लिए एक प्रकार के मूर के नियम को परिभाषित कर सकते हैं। एक मायने में, हाल के वर्षों में हमने लगभग एक घातीय कानून देखा है (हम GPT-2 के लिए 1.5 B पैरामीटर से GPT-3 के लिए 175 B तक चले गए हैं)।

क्या बदल गया?

इस सिद्धांत को पहला झटका चिनचिला का आगमन कहा जा सकता है । डीपमाइंड के मॉडल ने दिखाया कि यह न केवल डेटा की मात्रा का मामला है बल्कि डेटा की गुणवत्ता का भी है। दूसरा, META के LLaMA ने दिखाया कि क्यूरेटेड डेटा सेट का उपयोग करने वाले छोटे मॉडल भी बड़े मॉडल की तुलना में बेहतर परिणाम प्राप्त कर सकते हैं।

यह सिर्फ मॉडल्स की बात नहीं है। डेटा दूसरा मुद्दा है। मनुष्य पर्याप्त डेटा का उत्पादन नहीं करते हैं, शायद किसी भी GPT-5 का समर्थन करने के लिए पर्याप्त डेटा नहीं है जब बिजली कानून द्वारा आवश्यक हो। दूसरा, डेटा पहले की तरह एक्सेसिबल नहीं रहेगा।

वास्तव में, Reddit (एक लोकप्रिय डेटा संसाधन) ने घोषणा की है कि AI डेवलपर्स को इसकी सामग्री तक पहुँचने के लिए भुगतान करना होगा। यहाँ तक कि विकिपीडिया ने भी यही सोचा है और अब StackOverflow उसी तरह आगे बढ़ रहा है, इसके लिए कंपनियों को भुगतान करना होगा।

स्टैक ओवरफ्लो के चंद्रशेखर कहते हैं, "एलएलएम को बढ़ावा देने वाले सामुदायिक प्लेटफॉर्म को उनके योगदान के लिए पूरी तरह से मुआवजा दिया जाना चाहिए ताकि हमारे जैसी कंपनियां हमारे समुदायों में फिर से निवेश कर सकें।" "हम Reddit के दृष्टिकोण का बहुत समर्थन करते हैं।" ( स्रोत )

और यहां तक ​​कि अगर कोई डेटा प्राप्त करने का प्रबंधन करता है, तो यह किसी कंपनी के लिए सुरक्षित नहीं हो सकता है। गेटी ने एआई कला जनरेटर पर मुकदमा दायर किया है , लेकिन खुद कलाकारों ने भी मुकदमा दायर किया है। यह उल्लेख नहीं करने के लिए कि प्रोग्रामर ने GitHub Copilot के साथ ऐसा ही किया है जिसे रिपॉजिटरी में कोड के साथ प्रशिक्षित किया गया है। इसके अलावा, संगीत उद्योग (कुख्यात विवादास्पद) ने एआई-जनित संगीत के खिलाफ आवाज उठाई है और स्ट्रीमिंग सेवाओं के खिलाफ आग्रह किया है। अगर एआई कंपनियां भी उचित उपयोग की अपील करती हैं , तो इसका कोई मतलब नहीं है कि भविष्य में उनके पास डेटा तक समान पहुंच होगी।

विचार करने के लिए एक और कारक है, हेटेरो मॉडेलिटी द्वारा मॉडल को विस्तारित करने के अलावा, ट्रांसफॉर्मर आर्किटेक्चर 2017 से नहीं बदला है। सभी भाषा मॉडल हठधर्मिता पर आधारित हैं कि केवल मल्टी-हेड आत्म-ध्यान की आवश्यकता है और कुछ भी नहीं। कुछ समय पहले तक सैम ऑल्टमैन को यकीन था कि वास्तुकला की मापनीयता एजीआई की कुंजी थी। लेकिन जैसा कि उन्होंने हाल ही में एमआईटी के एक कार्यक्रम में कहा , एजीआई की कुंजी अधिक परतों और अधिक मापदंडों में नहीं है।

ट्रांसफार्मर की निश्चित सीमाएँ हैं और यह एलएम में परिलक्षित होता है: मतिभ्रम, विषाक्तता और पूर्वाग्रह। आधुनिक एलएलएम महत्वपूर्ण सोच के लिए सक्षम नहीं हैं। समस्या को कम करने की कोशिश करने के लिए विचारों की श्रृंखला और शीघ्र इंजीनियरिंग जैसी तकनीकें पैच के रूप में काम करती हैं।

इसके अलावा, मल्टी-हेड सेल्फ-अटेंशन को आरएनएन-व्युत्पन्न समस्याओं को हल करने में सक्षम दिखाया गया है और व्यवहार को संदर्भ में सीखने की द्विघात लागत के रूप में उभरने की अनुमति देता है। हाल ही में, यह देखा गया है कि अभिव्यक्तता खोए बिना ध्यान के गैर-द्विघात रूपों के साथ आत्म-ध्यान को प्रतिस्थापित नहीं किया जा सकता है। हालांकि, स्पाइक-जीपीटी और हाइना जैसे काम दिखाते हैं कि आत्म-ध्यान पर आधारित कम महंगे विकल्प मौजूद हैं और भाषा मॉडल के निर्माण में तुलनीय परिणामों की अनुमति देते हैं।

जैसा कि दिखाया गया है कि आरएचएलएफ का उपयोग करते हुए एक मॉडल को संरेखित करना विभिन्न कार्यों में प्रदर्शन के संबंध में एक लागत है। इसलिए, एलएम "विशेषज्ञ मॉडल" की जगह नहीं लेंगे, लेकिन भविष्य में शायद अन्य मॉडलों के ऑर्केस्ट्रेटर होंगे (उदाहरण के लिए हगिंगजीपीटी द्वारा सुझाए गए )।

आप ओपन-सोर्स को नहीं रोक सकते और यह हमेशा क्यों जीत रहा है

क्या मिडजर्नी या डीएएल-ई बेहतर है? शायद कहना मुश्किल है। यह निश्चित है कि स्थिर प्रसार विजेता तकनीक है। इस तथ्य से स्थिर प्रसार कि यह ओपन-सोर्स रहा है, ने बहुत सारे अनुप्रयोगों को जन्म दिया है और इतने अधिक व्युत्पन्न अनुसंधान (कंट्रोलनेट, मेडिकल इमेजिंग के लिए सिंथेटिक डेटा, मस्तिष्क के समानांतर) के लिए प्रेरणा रहा है।

समुदाय के काम के माध्यम से, इसके विभिन्न संस्करणों में स्थिर प्रसार में सुधार हुआ है और अंतहीन विविधताएं हैं। दूसरी ओर, DALL-E का कोई अनुप्रयोग नहीं है जिसमें स्थिर प्रसार पर आधारित प्रतिरूप नहीं है (लेकिन विपरीत सत्य है)।

फिर भाषा के मॉडल के साथ ऐसा क्यों नहीं हुआ?

अब तक मुख्य समस्या यह है कि एक भाषा मॉडल का प्रशिक्षण निषेधात्मक उपक्रम था। बिगसाइंस का ब्लूम वास्तव में एक विशाल संघ है। लेकिन LLaMA ने दिखाया है कि बहुत छोटे मॉडल 100 B पैरामीटर से अधिक के राक्षसों के साथ प्रतिस्पर्धा कर सकते हैं। अल्पाका ने दिखाया कि एलएम संरेखण कम लागत ($1,000 कुल लागत से कम) के साथ भी किया जा सकता है। ये वे तत्व हैं जिन्होंने साइमन विल्सन को यह कहने की अनुमति दी कि " बड़े भाषा मॉडल अपने स्थिर प्रसार के क्षण में हैं। ”

अल्पाका से लेकर आज तक, बहुत सारे मॉडल सामने आए हैं जो ओपन-सोर्स हैं । स्टैबिलिटी एआई ने न केवल कई मॉडल जारी किए हैं जो दिग्गजों के साथ प्रतिस्पर्धी हैं और सभी के द्वारा उपयोग किए जा सकते हैं, बल्कि अन्य कंपनियों ने भी चैटबॉट और मॉडल जारी किए हैं। कुछ ही हफ़्तों में हमने देखा है: डॉली , हगिंगचैट , कोअला और भी बहुत कुछ

अब, उल्लिखित कुछ मॉडल हां ओपन-सोर्स हैं हालांकि वे गैर-व्यावसायिक उपयोग के लिए हैं। हालांकि वे अकादमिक अनुसंधान के लिए खुले हैं, इसका मतलब यह है कि इच्छुक कंपनियों द्वारा उनका शोषण नहीं किया जा सकता है।

यह कहानी का केवल एक हिस्सा है। वास्तव में, हगिंगफेस पर पहले से ही ऐसे मॉडल हैं जिन्हें आसानी से प्रशिक्षित किया जा सकता है (मॉडल, डेटासेट और पाइपलाइन) और आज तक ऐसे कई मॉडल हैं जो व्यावसायिक रूप से उपलब्ध हैं (आज की तारीख में 10 से अधिक ):

ओपन-सोर्स मॉडल, निजी डेटा और नए एप्लिकेशन

एंथ्रोपिक के सीईओ डारियो अमोदी दुनिया के बड़े मॉडल पर ओपनएआई को मात देने के लिए अरबों की मांग कर रहे हैं। हालाँकि, बाकी दुनिया दूसरी दिशा में जा रही है। उदाहरण के लिए, ब्लूमबर्ग, जो एआई में एक ज्ञात खिलाड़ी नहीं है, ने वित्त के लिए एलएलएम जारी किया है (वित्त स्रोतों से 363 बिलियन टोकन पर प्रशिक्षित)।

हम वित्त के लिए एलएलएम क्यों चाहते हैं? केवल चैटजीपीटी का उपयोग क्यों नहीं करते?

Google MedPalm ने दिखाया कि एक विशिष्ट विषय पर ठीक-ठीक मॉडल की तुलना में एक सामान्यवादी मॉडल का प्रदर्शन खराब होता है (इस मामले में यह चिकित्सा, वैज्ञानिक और इसी तरह के लेखों के डेटासेट थे)।

एलएलएम को फाइन-ट्यूनिंग स्पष्ट रूप से महंगा है। खासकर अगर हम सैकड़ों अरबों मापदंडों वाले मॉडल के बारे में बात कर रहे हैं। छोटे मॉडल बहुत कम खर्चीले हैं, लेकिन फिर भी उदासीन नहीं हैं। META के LLaMA ने ओपन-सोर्स होने के कारण इस समस्या को आंशिक रूप से हल कर दिया है। वास्तव में, एलएलएएमए-एडाप्टर के लेखकों ने दिखाया कि ठीक-ट्यूनिंग करने के लिए केवल 1.2 मिलियन पैरामीटर जोड़े जाने की आवश्यकता है (प्रशिक्षण में एक घंटे से भी कम समय लगता है)।

जबकि यह सच है कि LLaMA व्यावसायिक रूप से उपलब्ध नहीं है, ऐसे कई अन्य मॉडल हैं जो उपलब्ध हैं (छोटे से बड़े तक)। किसी दिए गए क्षेत्र में एक सफल एप्लिकेशन को स्पष्ट रूप से क्या सक्षम करेगा, डेटा है।

जैसा कि सैमसंग ने अप्रिय रूप से खोजा , किसी कंपनी के अंदर चैटजीपीटी का उपयोग करना एक जोखिम है। यहां तक ​​​​कि अगर चैटजीपीटी अब लोगों को चैट इतिहास को अक्षम करने या मॉडल को प्रशिक्षित करने के लिए अपने डेटा का उपयोग करने से मना करने की अनुमति देता है, तो कंपनियां अपने डेटा को स्वीकार करने के लिए जोखिम भरा विचार करेंगी।

कई कंपनियां अपने स्वयं के चैटबॉट को प्रशिक्षित करना संभव मानेंगी, एक ऐसा मॉडल जो अपने स्वयं के कॉर्पोरेट डेटा पर ठीक-ठाक है और आंतरिक रहेगा। आखिरकार, छोटे बजट वाली कंपनियों के लिए भी तकनीक उपलब्ध और सस्ती है। इसके अलावा, कम लागत उन्हें नया डेटा आने या बेहतर ओपन-सोर्स मॉडल जारी होने पर नियमित रूप से ठीक करने में सक्षम होने की अनुमति देती है। जिन कंपनियों के पास अब डेटा है, वे इसे प्रदान करने में अधिक अनिच्छुक होंगी।

इसके अलावा, हमने देखा है कि गुणवत्तापूर्ण डेटा होना कितना महत्वपूर्ण है। चिकित्सा और कई अन्य क्षेत्रों में डेटा एकत्र करना मुश्किल है (महंगा, विनियमित, दुर्लभ) और जिन कंपनियों के पास डेटा है, उनके पास सहूलियत है। OpenAI उदाहरण के लिए चिकित्सा डेटा एकत्र करने की कोशिश में अरबों खर्च कर सकता है, लेकिन लागत से परे, रोगी की भर्ती के लिए वर्षों और एक स्थापित नेटवर्क की आवश्यकता होती है (जो कि उसके पास नहीं है)। जिन कंपनियों के पास डेटा है, वे इन डेटा को उन मॉडलों के साथ साझा करने में अधिक प्रतिबंधात्मक होंगी जो उन्हें उजागर कर सकती हैं।

इसके अलावा, हगिंगजीपीटी और ऑडियोजीपीटी जैसे काम दिखा रहे हैं कि एलएलएम उपयोगकर्ता के लिए विशेषज्ञ मॉडल (टेक्स्ट-टू-इमेज, ऑडियो मॉडल और बहुत कुछ) के साथ बातचीत करने के लिए एक इंटरफ़ेस है। पिछले वर्षों में, कई कंपनियों ने डेटा वैज्ञानिकों को काम पर रखा है और अपनी जरूरतों के लिए अलग-अलग विशेष मॉडल विकसित किए हैं (दवा की खोज और डिजाइन के लिए दवा कंपनियों के मॉडल, घटक डिजाइन और भविष्य कहनेवाला रखरखाव के लिए निर्माण कंपनियां, और इसी तरह)। इस प्रकार, अब डेटा वैज्ञानिक एलएलएम को अपने पहले से प्रशिक्षित मॉडल से जुड़ने के लिए निर्देश दे सकते हैं और आंतरिक गैर-तकनीकी उपयोगकर्ताओं को उनके साथ शाब्दिक संकेतों के माध्यम से बातचीत करने की अनुमति दे सकते हैं।

एक अन्य तत्व भी है जो इस तरह के परिदृश्य की ओर इशारा करता है, जनरेटिव एआई पर नियम स्पष्ट नहीं हैं (उदाहरण के लिए, Google ने कॉपीराइट उल्लंघन के डर से अपने जनरेटिव संगीत मॉडल को जारी नहीं किया है)। कॉपीराइट मुद्दे के अतिरिक्त, उत्तरदायित्व के बारे में प्रश्न खुले रहते हैं। इसलिए, कई कंपनियां आने वाले महीनों में प्रौद्योगिकी को आंतरिक बना सकती हैं और अपना एआई सहायक बना सकती हैं।

बिदाई विचार

डॉ. हिंटन ने कहा कि जब लोग उनसे पूछते थे कि वह संभावित रूप से खतरनाक तकनीक पर कैसे काम कर सकते हैं, तो वे रॉबर्ट ओपेनहाइमर, जिन्होंने परमाणु बम बनाने के लिए अमेरिकी प्रयास का नेतृत्व किया था, की व्याख्या करते थे: "जब आप कुछ ऐसा देखते हैं जो तकनीकी रूप से अच्छा है, तो आप आगे बढ़ें और इसे कर डालें।"

वह अब और नहीं कहता। ( स्रोत )

हिंटन ने हाल ही में कहा था कि हमें आर्टिफिशियल इंटेलिजेंस के जोखिमों पर चर्चा करने की जरूरत है। लेकिन हम ब्लैक बॉक्स के अंदर बम विस्फोट के जोखिमों का अध्ययन नहीं कर सकते हैं। यही कारण है कि मॉडल के लिए ओपन सोर्स होना बहुत जरूरी है।

एलएलएम वैसे भी बदलाव के दौर में हैं। बड़ा और बड़ा मॉडल बनाना अस्थिर है और यह उतना लाभ नहीं देता जितना एक बार देता था। अगले एलएलएम का भविष्य डेटा में निहित होगा और शायद नए आर्किटेक्चर में अब आत्म-ध्यान पर आधारित नहीं होगा।

हालाँकि, डेटा उतना सुलभ नहीं होगा जितना एक बार था; कंपनियां इसे एक्सेस करना बंद करने लगी हैं। Microsoft का कहना है कि वह कंपनियों को ChatGPT का अपना संस्करण बनाने की अनुमति देने को तैयार है । लेकिन कंपनियों को संदेह होगा।

कुछ कंपनियां अपने व्यवसाय के लिए डरती हैं (ऐसा लगता है कि ChatGPT ने पहले ही अपना पहला शिकार होने का दावा किया है ), और अन्य डेटा लीक होने से डरते हैं। या सीधे शब्दों में कहें तो तकनीक आखिरकार लगभग सभी कंपनियों की पहुंच के भीतर है, और प्रत्येक अपनी आवश्यकताओं के अनुरूप एक चैटबॉट बनाएगी।

निष्कर्ष में, हम अलग-अलग रुझान देख सकते हैं (जो कि वे पहले से ही हो रहे हैं):

• एआई का बढ़ता डर ओपन-सोर्स मॉडल पर जोर दे रहा है
• यह ओपन-सोर्स एलएलएम मॉडल के बढ़ते प्रकाशन की ओर अग्रसर है। जो बदले में, यह दिखा रहा है कि आप छोटे मॉडल का उपयोग कर सकते हैं और उनके संरेखण की लागत कम कर सकते हैं।
• एलएलएम मॉडल विभिन्न व्यवसायों के लिए खतरा हैं और कंपनियों को डर है कि ये मॉडल उनके व्यवसाय को खतरे में डाल सकते हैं। इस प्रकार, विभिन्न कंपनियां अपने डेटा तक पहुंच कम कर रही हैं या एआई कंपनियों से भुगतान मांग रही हैं।
• लागत में कमी, प्रतिस्पर्धा का डर, मालिकाना डेटा के लिए एक नई प्रासंगिकता, और ओपन-सोर्स मॉडल की नई उपलब्धता ओपन-सोर्स मॉडल का उपयोग करके अपने स्वयं के डेटा पर अपने स्वयं के चैटबॉट्स को प्रशिक्षित करने के लिए अग्रणी कंपनियां हैं।

अगर आपको यह दिलचस्प लगा है:

आप मेरे अन्य लेख देख सकते हैं, जब मैं लेख प्रकाशित करता हूं तो आप अधिसूचित होने के लिए सदस्यता भी ले सकते हैं, आप इसकी सभी कहानियों तक पहुंचने के लिए एक माध्यम सदस्य बन सकते हैं (मंच के संबद्ध लिंक जिसके लिए मुझे आपके लिए बिना किसी लागत के छोटे राजस्व मिलते हैं) और आप मुझसे लिंक्डइन पर भी जुड़ सकते हैं या पहुंच सकते हैं ।

यहाँ मेरे GitHub रिपॉजिटरी का लिंक दिया गया है, जहाँ मैं कोड और मशीन लर्निंग, आर्टिफिशियल इंटेलिजेंस, और बहुत कुछ से संबंधित संसाधनों को इकट्ठा करने की योजना बना रहा हूँ।

या आपको मेरे हाल के लेखों में से एक में रुचि हो सकती है: