NeurIPS 2022 की सबसे बड़ी प्रविष्टियों के लिए एक संक्षिप्त गाइड

न्यूरल इंफॉर्मेशन प्रोसेसिंग सिस्टम्स (न्यूरआईपीएस) पर सम्मेलन और कार्यशाला मशीन लर्निंग (एमएल) और कम्प्यूटेशनल न्यूरोसाइंस पर सबसे सम्मानित अंतरराष्ट्रीय सम्मेलनों में से एक है। NeurIPS'22 ( 28 नवंबर - 9 दिसंबर) के लिए, न्यू ऑरलियन्स को इस कार्यक्रम की मेजबानी के लिए चुना गया था, जिसके बाद दूसरे सप्ताह में एक आभासी घटक था।

1987 में अपनी स्थापना के बाद से, सम्मेलन में MURPHY (1988) और NeuroChess (1994), और हाल ही में Word2Vec (2013) और GPT-3 (2020) सहित ग्राउंड-ब्रेकिंग सबमिशन का एक अच्छा हिस्सा देखा गया है। इस साल करीब 3000 पेपर स्वीकार किए गए। NeurIPS'22 के एजेंडे में बहुत कुछ होने के कारण, यहाँ आपकी मदद के लिए कुछ है - विशेष रूप से रोमांचक विषयों पर एक संक्षिप्त गाइड:

# 1 संघीय शिक्षा

फ़ेडरेटेड लर्निंग आज एक गर्म विषय है - यह GPT-3 जैसे बड़े भाषा मॉडल के प्रशिक्षण से जुड़े अपर्याप्त संसाधनों की समस्या को दूर करने का एक तरीका है। न केवल ये मॉडल बहुत महंगे हैं ( $100M तक पहुंच सकते हैं ), लेकिन जिस तरह से उन्हें अभी प्रशिक्षित किया गया है वह भी टिकाऊ नहीं है।

फ़ेडरेटेड लर्निंग एक ऐसी तकनीक है जिसमें उनके बीच डेटा एक्सचेंज के बिना किनारे के उपकरणों पर एमएल मॉडल प्रशिक्षण शामिल है, जो पूरी प्रक्रिया को सस्ता और कम्प्यूटेशनल रूप से कम मांग वाला बनाता है। इस वर्ष 3 प्रस्तुतियाँ हैं जो इस मुद्दे को संबोधित करती हैं:

अलीबाबा के इस पत्र के लेखक व्यक्तिगत संघबद्ध शिक्षण विधियों के लिए एक बेंचमार्क प्रस्तावित करते हैं। एक अन्य पेपर एक सैद्धांतिक दृष्टिकोण प्रस्तुत करता है जो संघबद्ध और सहयोगी शिक्षण को अधिक कुशल बनाता है। और अंत में यह पेपर समझाता है कि संघबद्ध शिक्षा के साथ बेहतर परिणाम कैसे प्राप्त करें।

इस विषय में रुचि रखने वाले किसी भी व्यक्ति के लिए एक और चीज देखने लायक है, वह है फेडरेटेड लर्निंग पर अंतर्राष्ट्रीय कार्यशाला । संयोग से, सभी NeurIPS कार्यशालाएं मूल रूप से मुख्य कार्यक्रम के भीतर अधिक विषय-केंद्रित मिनी-सम्मेलन हैं, ताकि आप हमेशा कुछ ऐसा पा सकें जो आपकी रुचियों के अनुकूल हो।

#2 फाउंडेशन और ऑटोरेग्रेसिव मॉडल

फाउंडेशन मॉडल असंरचित डेटा की विशाल मात्रा पर प्रशिक्षित मॉडल होते हैं जिन्हें बाद में अनुप्रयोगों की एक विस्तृत श्रृंखला (जैसे, बीईआरटी) की जरूरतों को पूरा करने के लिए लेबल किए गए डेटा के साथ ठीक किया जाता है। मुख्य समस्याओं में से एक यह है कि इन मॉडलों को ठीक करने के लिए अतिरिक्त पैरामीटर पेश करने होंगे। इसका अर्थ है विशिष्ट समूहों में निरंतर जीपीयू का उपयोग, जिसे प्राप्त करना और वित्त करना मुश्किल है।

यह पेपर बड़े फाउंडेशन मॉडल के प्रशिक्षण के लिए विकेंद्रीकृत और कम खर्चीला दृष्टिकोण प्रस्तावित करता है। एक और पेपर इमेज-लैंग्वेज और वीडियो-लैंग्वेज टास्क के लिए एक नया मल्टीमॉडल फाउंडेशन मॉडल प्रस्तावित करता है। Microsoft पर आधारित इस पत्र के लेखक यह पता लगाते हैं कि छवियों से लिखित जानकारी कैसे निकाली जा सकती है, जिसमें कंप्यूटर विज़न (CV) और भाषा मॉडल को शामिल करना शामिल है, जिसके परिणामस्वरूप एक नई प्रणाली ठोस वर्णनात्मक पैराग्राफ बनाने में सक्षम है।

यह व्यापक FMDM वर्कशॉप भी है , जिसका विषय इस बात की पड़ताल करने के इर्द-गिर्द घूमता है कि बड़े पैमाने पर जटिल कार्यों को हल करने के लिए फाउंडेशन मॉडल और निर्णय लेने कैसे एक साथ आ सकते हैं।

#3 ह्यूमन फीडबैक के साथ रीइन्फोर्समेंट लर्निंग

काफी समय से NeurIPS में रीइन्फोर्समेंट लर्निंग एक लेटमोटिफ रहा है। आज हम जिन मुख्य समस्याओं का सामना कर रहे हैं उनमें से एक यह है कि अक्सर बड़े मॉडल ऐसे आउटपुट उत्पन्न करते हैं जो उपयोगकर्ता की आवश्यकताओं या मंशा के अनुरूप नहीं होते हैं।

इस पत्र को लिखने वाले शोधकर्ता ह्यूमन-इन-द-लूप दृष्टिकोण का उपयोग करते हुए बड़े भाषा मॉडल को ठीक करने के लिए प्रस्तुत करते हैं, अर्थात् सुदृढीकरण सीखने के लिए इनाम मॉडल को प्रशिक्षित करने के लिए प्रबंधित भीड़ का उपयोग कैसे किया जा सकता है। इसके परिणामस्वरूप डाउनस्ट्रीम अनुप्रयोगों में भविष्यवाणी की गुणवत्ता में नाटकीय वृद्धि हुई है। एक अन्य लाभ छोटे बजट का है - मूल GPT-3 मॉडल की तुलना में, कम प्रशिक्षित मापदंडों की आवश्यकता होती है।

यही विषय जनरेटिव मॉडल के मानव मूल्यांकन पर कार्यशाला को बढ़ावा देता है, यानी, भाषा और सीवी (जैसे GPT-3, DALL-E, CLIP, और OPT) दोनों के लिए जनरेटिव मॉडल का समर्थन करने के लिए सफलतापूर्वक मानव मूल्यांकन कैसे करें।

#4 अधिक कार्यशालाएं, ट्यूटोरियल और प्रतियोगिताएं

मैंने जिन कार्यशालाओं का उल्लेख किया है, उनके अलावा यह एक है जो जांच करता है कि अधिक स्केलेबल रीइन्फोर्समेंट लर्निंग सिस्टम कैसे बनाया जाए। इसमें एक ऐसा भी है जो बेहतर मानव-इन-द-लूप सिस्टम बनाने के सवाल पर गोता लगाता है। इसके अलावा, यदि आप तकनीकी विषयों से विराम लेना चाहते हैं और इसके बजाय एमएल अनुसंधान सहयोग के भविष्य को देखना चाहते हैं तो इस कार्यशाला को देखें।

NeurIPS'22 में 13 ट्यूटोरियल भी हैं जो व्यावहारिक प्रशिक्षण और व्यावहारिक मार्गदर्शन प्रदान करते हैं। मैं डेटासेट निर्माण पर इस ट्यूटोरियल को देखने की सलाह देता हूं, यह फाउंडेशन मॉडल की मजबूती पर है, और यह बायेसियन ऑप्टिमाइज़ेशन पर है । एल्गोरिथम निष्पक्षता और सामाजिक रूप से जिम्मेदार एआई पर उपयोगी ट्यूटोरियल भी हैं।

इस वर्ष सम्मेलन में कई दिलचस्प चुनौतियाँ और प्रतियोगिताएँ हैं। उनमें से आभासी वातावरण को आबाद करने के लिए सबसे प्रभावी रणनीतियों के बारे में यह वीडियो गेम चुनौती है। ऑप्टिमाइज़ेशन मॉडलिंग चुनौती (NL4Opt) के लिए प्राकृतिक भाषा, साथ ही बड़े पैमाने पर ग्राफ बेंचमार्किंग पर OGB-LSC भी है, जो दोनों मनोरंजक होने के साथ-साथ चुनौतीपूर्ण भी हैं।

#5 NeurIPS'22 सामाजिक

मैं इस वर्ष के सामाजिक कार्यक्रमों की भी अत्यधिक अनुशंसा करता हूं, जो प्रत्यक्ष रूप से शामिल होने के अवसर के साथ कुछ नया सीखने का एक शानदार तरीका है। अधिकांश कार्यशालाओं के विपरीत, न्यूरोआईपीएस में सामाजिक अधिक अनौपचारिक होते हैं, प्रत्येक प्रतिभागी को अपने विचारों को शामिल करने और आवाज देने का अवसर दिया जाता है। प्रत्येक सामाजिक को आयोजकों के एक पैनल द्वारा नियंत्रित किया जाता है जो चर्चा का नेतृत्व करते हैं, सभी योगदानों को पचाते हैं, और फिर समापन टिप्पणी प्रस्तुत करते हैं।

NeuroIPS'22 दिलचस्प प्रविष्टियों से भरा है - ML और जलवायु परिवर्तन से लेकर NeurIPS में के-पॉप प्रेमियों तक (जी हाँ, आपने इसे सही सुना)। उदाहरण के लिए, यह गोलमेज सम्मेलन व्याख्याकर्ता सशक्तिकरण और डेटा उत्कृष्टता के बारे में है, अर्थात् डेटा लेबलर्स के बीच असहमति को कैसे हल करें, नमूना विविधता प्राप्त करें, और एमएल सिस्टम को पूर्वाग्रहों से मुक्त बनाएं।

उपसंहार

जैसा कि आप देख सकते हैं, NeurIPS'22 कई बेहतरीन विकल्प प्रदान करता है जिन्हें मैंने यहां शामिल किया है और कुछ ऐसे हैं जिनका उल्लेख करने के लिए मेरे पास कोई जगह नहीं थी। मुझे उम्मीद है कि मेरी सिफारिशें आपको अपना समय बेहतर ढंग से व्यवस्थित करने में मदद करेंगी, ताकि आप कुछ भी महत्वपूर्ण न चूकें।