NeurIPS 2022'nin En Büyük Girişleri İçin Kısa Bir Kılavuz

Nöral Bilgi İşleme Sistemleri (NeurIPS) Konferansı ve Çalıştayı, Makine Öğrenimi (ML) ve hesaplamalı sinirbilim üzerine en saygın uluslararası konferanslardan biridir. NeurIPS'22 (28 Kasım - 9 Aralık) için etkinliğe ev sahipliği yapması için New Orleans seçildi ve ardından ikinci hafta sanal bir bileşen kullanıldı.

1987'deki başlangıcından bu yana konferans, MURPHY (1988) ve NeuroChess (1994) ve daha yakın zamanda Word2Vec (2013) ve GPT-3 (2020) dahil olmak üzere çığır açan sunumlardan adil bir pay gördü. Bu yıl 3000'e yakın bildiri kabul edildi. NeurIPS'22'de gündemde bu kadar çok şey varken, işte size yardımcı olacak bir şey — özellikle heyecan verici konular hakkında kısa bir rehber:

1 Numaralı Birleşik Öğrenme

Birleştirilmiş öğrenme günümüzde sıcak bir konudur — GPT-3 gibi büyük dil modellerinin eğitimiyle ilişkili yetersiz kaynak sorununu çözmenin bir yoludur. Bu modeller çok pahalı ( 100 milyon dolara ulaşan ) olmakla kalmıyor, aynı zamanda şu anda eğitilme biçimleri de sürdürülemez.

Birleşik öğrenme, aralarında veri alışverişi olmayan uç cihazlarda makine öğrenimi modeli eğitimini içeren bir tekniktir, bu da tüm süreci daha ucuz ve hesaplama açısından daha az zahmetli hale getirir. Bu yıl bu konuyu ele alan 3 başvuru var:

Alibaba'dan bu makalenin yazarları, kişiselleştirilmiş birleştirilmiş öğrenme yöntemleri için bir kıyaslama önermektedir. Başka bir makale , birleştirilmiş ve işbirliğine dayalı öğrenmeyi daha verimli hale getiren teorik bir yaklaşım sunmaktadır. Ve son olarak bu makale , birleştirilmiş öğrenme ile nasıl daha iyi sonuçlara ulaşılacağını açıklıyor.

Bu konuyla ilgilenen herkes için göz atmaya değer bir şey daha, Uluslararası Birleşik Öğrenme Çalıştayı'dır . Bu arada, tüm NeurIPS atölye çalışmaları temelde ana etkinlik içinde daha konu odaklı mini konferanslardır, böylece her zaman ilgi alanlarınıza uyan bir şey bulabilirsiniz.

#2 Temel ve Otoregresif Modeller

Temel modeller, geniş bir uygulama yelpazesinin (örneğin, BERT) ihtiyaçlarını karşılamak için daha sonra etiketlenmiş verilerle ince ayar yapılan çok miktarda yapılandırılmamış veri üzerinde eğitilmiş modellerdir. Ana sorunlardan biri, bu modellere ince ayar yapmak için ek parametrelerin getirilmesi gerekmesidir. Bu, edinilmesi ve finanse edilmesi zor olan özel kümelerde sürekli GPU kullanımı anlamına gelir.

Bu makale , büyük temel modellerini eğitmek için merkezi olmayan ve daha az maliyetli bir yaklaşım önermektedir. Başka bir makale , görüntü dili ve video dili görevleri için yeni bir çok modlu temel modeli önermektedir. Microsoft merkezli bu makalenin yazarları, Bilgisayarla Görü (CV) ve dil modellerini birleştirerek sağlam tanımlayıcı paragraflar üretebilen yeni bir sistemle sonuçlanan yazılı bilgilerin görüntülerden nasıl çıkarılabileceğini keşfediyor.

Ayrıca , konusu, temel modellerin ve karar almanın karmaşık görevleri büyük ölçekte çözmek için nasıl bir araya gelebileceğini araştırmak etrafında dönen bu kapsamlı FMDM atölyesi de var.

#3 İnsan Geri Bildirimiyle Güçlendirmeli Öğrenme

Takviyeli öğrenme, oldukça uzun bir süredir NeurIPS'de bir ana motif olmuştur. Bugün karşılaştığımız ana sorunlardan biri, genellikle büyük modellerin kullanıcının ihtiyaçları veya amacı ile uyumlu olmayan çıktılar üretmesidir.

Bu makaleyi yazan araştırmacılar , döngüdeki insan yaklaşımını kullanarak ince ayar yapan büyük dil modellerine ilişkin görüşlerini, yani yönetilen kalabalıkların takviyeli öğrenme için bir ödül modeli eğitmek için nasıl kullanılabileceğini sunuyorlar. Bu, sonraki uygulamalarda tahmin kalitesinde çarpıcı bir artışla sonuçlanır. Diğer bir avantaj ise daha küçük bütçelerdir — orijinal GPT-3 modeline kıyasla daha az eğitilebilir parametre gerekir.

Aynı konu , Üretken Modellerin İnsan Tarafından Değerlendirilmesi Çalıştayı'nı , yani hem dil hem de özgeçmiş için üretken modelleri desteklemek amacıyla insan değerlendirmelerinin nasıl başarılı bir şekilde yürütüleceğini (örn. GPT-3, DALL-E, CLIP ve OPT) ateşler.

#4 Daha Fazla Atölye Çalışması, Eğitim ve Yarışma

Bahsettiğim atölyelere ek olarak, daha ölçeklenebilir takviyeli öğrenme sistemlerinin nasıl kurulacağını araştıran bir atölye var. Ayrıca döngü içinde insan sistemlerinin nasıl daha iyi inşa edileceği sorusuna dalan bir tane var. Ayrıca, teknik konulara ara vermek ve bunun yerine makine öğrenimi araştırma işbirliklerinin geleceğine bakmak istiyorsanız bu çalıştaya göz atın.

NeurIPS'22 ayrıca, uygulamalı eğitim ve pratik rehberlik sunan 13 eğitici içerir. Veri kümesi oluşturma hakkındaki bu öğreticiye , temel modellerin sağlamlığı hakkındaki bu eğitime ve Bayes optimizasyonu hakkındaki bu eğitime göz atmanızı öneririm . Ayrıca algoritmik adalet ve sosyal açıdan sorumlu yapay zeka hakkında faydalı öğreticiler de var.

Bu yılki konferansta bir dizi ilginç mücadele ve yarışma var . Bunların arasında, sanal ortamları doldurmak için en etkili stratejilerle ilgili bu video oyunu yarışması da var. Optimizasyon Modelleme için Doğal Dil yarışması (NL4Opt) ve büyük ölçekli grafik kıyaslamada OGB-LSC de var, her ikisi de eğlenceli olduğu kadar zorlu.

#5 NeurIPS'22 Sosyal Medya

Ayrıca, ilk elden dahil olma fırsatı ile yeni bir şey öğrenmenin harika bir yolu olan bu yılki sosyal etkinlikleri şiddetle tavsiye ediyorum. Çoğu çalıştayın aksine, NeuroIPS'deki sosyal etkinlikler daha gayri resmi olma eğilimindedir ve her katılımcıya katılım sağlama ve görüşlerini dile getirme fırsatı verilir. Her sosyal medya, tartışmayı yöneten, tüm katkıları sindiren ve ardından sonuç açıklamaları sunan bir düzenleyiciler paneli tarafından yönetilir.

NeuroIPS'22, makine öğrenimi ve iklim değişikliğinden NeurIPS'deki K-Pop severlere kadar ilginç girişlerle doludur (evet, doğru duydunuz). Bu yuvarlak masa toplantısı , örneğin, veri etiketleyiciler arasındaki anlaşmazlıkların nasıl çözüleceği, örnekleme çeşitliliğinin nasıl elde edileceği ve önyargılardan etkilenmeyen makine öğrenimi sistemlerinin nasıl oluşturulacağı gibi, açıklayıcı yetkilendirme ve veri mükemmelliği hakkındadır.

Özetliyor

Gördüğünüz gibi, NeurIPS'22, buraya dahil ettiğim ve bazılarından bahsetmeye yer bulamadığım birçok harika seçenek sunuyor. Umarım önerilerim, önemli hiçbir şeyi kaçırmamak için zamanınızı daha iyi düzenlemenize yardımcı olur.