Ein kurzer Leitfaden zu den größten Einträgen von NeurIPS 2022

Die Conference and Workshop on Neural Information Processing Systems (NeurIPS) ist eine der angesehensten internationalen Konferenzen zu Machine Learning (ML) und Computational Neuroscience. Für NeurIPS'22 (28. November bis 9. Dezember) wurde New Orleans als Gastgeber der Veranstaltung ausgewählt, gefolgt von einer virtuellen Komponente in der zweiten Woche.

Seit ihrer Gründung im Jahr 1987 hat die Konferenz einen beträchtlichen Anteil an bahnbrechenden Einreichungen gesehen, darunter MURPHY (1988) und NeuroChess (1994) und in jüngerer Zeit Word2Vec (2013) und GPT-3 (2020). In diesem Jahr wurden fast 3000 Beiträge angenommen. Da so viel auf der Agenda von NeurIPS'22 steht, hier etwas, das Ihnen helfen kann – eine kurze Anleitung zu den besonders spannenden Themen:

#1 Föderiertes Lernen

Federated Learning ist heute ein heißes Thema – es ist eine Möglichkeit, das Problem unzureichender Ressourcen zu umgehen, das mit dem Training großer Sprachmodelle wie GPT-3 verbunden ist. Diese Modelle sind nicht nur sehr teuer ( bis zu 100 Millionen Dollar ), sondern die Art und Weise, wie sie derzeit trainiert werden, ist auch nicht nachhaltig.

Federated Learning ist eine Technik, die ML-Modelltraining auf Edge-Geräten ohne Datenaustausch zwischen ihnen beinhaltet, was den gesamten Prozess billiger und weniger rechenintensiv macht. In diesem Jahr gibt es 3 Einreichungen, die sich mit diesem Thema befassen:

Die Autoren dieses Papiers von Alibaba schlagen einen Maßstab für personalisierte föderierte Lernmethoden vor. Ein weiterer Beitrag stellt einen theoretischen Ansatz vor, der föderiertes und kollaboratives Lernen effizienter macht. Und schließlich erklärt dieses Whitepaper , wie man mit föderiertem Lernen bessere Ergebnisse erzielt.

Eine weitere interessante Sache für alle, die sich für dieses Thema interessieren, ist der International Workshop on Federated Learning . Übrigens sind alle NeurIPS-Workshops grundsätzlich eher themenbezogene Mini-Konferenzen innerhalb der Hauptveranstaltung, sodass Sie immer etwas Passendes für Ihre Interessen finden.

#2 Foundation- und Autoregressive Modelle

Basismodelle sind Modelle, die auf riesigen Mengen unstrukturierter Daten trainiert werden, die anschließend mit gekennzeichneten Daten feinabgestimmt werden, um die Anforderungen einer breiten Palette von Anwendungen (z. B. BERT) zu erfüllen. Eines der Hauptprobleme besteht darin, dass zur Feinabstimmung dieser Modelle zusätzliche Parameter eingeführt werden müssen. Dies bedeutet kontinuierliche GPU-Nutzung in spezialisierten Clustern, die schwer zu erwerben und zu finanzieren sind.

Dieses Papier schlägt einen dezentralisierten und weniger kostspieligen Ansatz zum Trainieren großer Grundlagenmodelle vor. Ein weiterer Beitrag schlägt ein neues multimodales Basismodell für bildsprachliche und videosprachliche Aufgaben vor. Die Autoren dieses bei Microsoft ansässigen Artikels untersuchen, wie schriftliche Informationen aus Bildern extrahiert werden können, was die Überbrückung von Computer Vision (CV) und Sprachmodellen beinhaltet, was zu einem neuen System führt, das in der Lage ist, solide beschreibende Absätze zu erstellen.

Es gibt auch diesen umfassenden FMDM-Workshop , dessen Thema sich um die Untersuchung dreht, wie Grundlagenmodelle und Entscheidungsfindung zusammenkommen können, um komplexe Aufgaben in großem Maßstab zu lösen.

#3 Reinforcement Learning mit menschlichem Feedback

Reinforcement Learning ist seit geraumer Zeit ein Leitmotiv bei NeurIPS. Eines der Hauptprobleme, mit denen wir heute konfrontiert sind, besteht darin, dass große Modelle häufig eine Ausgabe erzeugen, die nicht auf die Bedürfnisse oder Absichten des Benutzers abgestimmt ist.

Die Forscher, die dieses Papier verfassen , präsentieren ihre Sicht auf die Feinabstimmung großer Sprachmodelle unter Verwendung des Human-in-the-Loop-Ansatzes, nämlich wie verwaltete Massen verwendet werden können, um ein Belohnungsmodell für bestärkendes Lernen zu trainieren. Dies führt zu einer dramatischen Steigerung der Vorhersagequalität in nachgelagerten Anwendungen. Ein weiterer Vorteil sind kleinere Budgets – im Vergleich zum ursprünglichen GPT-3-Modell sind weniger trainierbare Parameter erforderlich.

Das gleiche Thema treibt den Workshop zur menschlichen Evaluation generativer Modelle an, dh wie man erfolgreich menschliche Evaluationen durchführt, um generative Modelle für Sprache und Lebenslauf zu unterstützen (z. B. GPT-3, DALL-E, CLIP und OPT).

#4 Weitere Workshops, Tutorials und Wettbewerbe

Zusätzlich zu den von mir erwähnten Workshops gibt es diesen , der untersucht, wie man besser skalierbare Reinforcement-Learning-Systeme aufbauen kann. Es gibt auch dieses , das sich mit der Frage befasst, wie man bessere Human-in-the-Loop-Systeme baut. Sehen Sie sich diesen Workshop auch an, wenn Sie eine Pause von technischen Themen einlegen und sich stattdessen mit der Zukunft von ML-Forschungskooperationen befassen möchten.

NeurIPS'22 bietet außerdem 13 Tutorials , die praktisches Training und praktische Anleitungen bieten. Ich empfehle, dieses Tutorial zur Erstellung von Datensätzen, dieses zur Robustheit von Basismodellen und dieses zur Bayes'schen Optimierung zu lesen . Es gibt auch nützliche Tutorials zu algorithmischer Fairness und sozial verantwortlicher KI.

Die diesjährige Konferenz bietet eine Reihe interessanter Herausforderungen und Wettbewerbe . Darunter ist auch diese Videospielherausforderung über die effektivsten Strategien zum Bevölkern virtueller Umgebungen. Es gibt auch die Natural Language for Optimization Modeling Challenge (NL4Opt) sowie OGB-LSC zum Benchmarking von groß angelegten Graphen, die beide ebenso herausfordernd wie unterhaltsam sind.

#5 NeurIPS'22 Socials

Ich kann auch die diesjährigen Socials sehr empfehlen, die eine großartige Möglichkeit sind, etwas Neues zu lernen und sich aus erster Hand zu engagieren. Im Gegensatz zu den meisten Workshops sind Socials bei NeuroIPS eher informell, wobei jeder Teilnehmer die Möglichkeit erhält, sich zu engagieren und seine Meinung zu äußern. Jedes Social wird von einem Gremium aus Organisatoren moderiert, die die Diskussion leiten, alle Beiträge verarbeiten und abschließende Bemerkungen präsentieren.

NeuroIPS'22 ist voller interessanter Einträge – von ML und Klimawandel bis hin zu K-Pop-Liebhabern bei NeurIPS (ja, Sie haben richtig gehört). Bei diesem Roundtable-Treffen geht es beispielsweise um die Befähigung von Kommentatoren und Datenexzellenz, nämlich darum, wie man Meinungsverschiedenheiten zwischen Datenetikettierern löst, Stichprobenvielfalt erhält und ML-Systeme entwickelt, die gegen Vorurteile immun sind.

Zusammenfassen

Wie Sie sehen können, bietet NeurIPS'22 viele großartige Optionen, die ich hier aufgenommen habe, und einige, die ich nicht erwähnen konnte. Ich hoffe, meine Empfehlungen helfen Ihnen, Ihre Zeit besser zu organisieren, damit Sie nichts Wichtiges verpassen.