คำแนะนำโดยย่อสำหรับผลงานที่ใหญ่ที่สุดของ NeurIPS 2022

การประชุมและการประชุมเชิงปฏิบัติการเกี่ยวกับระบบประมวลผลข้อมูลประสาท (NeurIPS) เป็นหนึ่งในการประชุมระดับนานาชาติเกี่ยวกับการเรียนรู้ของเครื่อง (ML) และประสาทวิทยาการคำนวณที่ได้รับการยอมรับมากที่สุด สำหรับNeurIPS'22 (28 พฤศจิกายน — 9 ธันวาคม) นิวออร์ลีนส์ได้รับเลือกให้เป็นเจ้าภาพจัดงาน ตามด้วยองค์ประกอบเสมือนจริงในสัปดาห์ที่สอง

นับตั้งแต่เริ่มก่อตั้งในปี 1987 การประชุมก็ได้รับส่วนแบ่งที่ยุติธรรมจากการนำเสนอที่ล้ำสมัย ซึ่งรวมถึงMURPHY (1988) และNeuroChess (1994) และล่าสุดคือ Word2Vec (2013) และGPT-3 (2020) ปีนี้รับเอกสารเกือบ 3,000 ฉบับ ด้วยกำหนดการมากมายที่ NeurIPS'22 ต่อไปนี้คือสิ่งที่จะช่วยคุณได้ คำแนะนำสั้นๆ เกี่ยวกับหัวข้อที่น่าตื่นเต้นเป็นพิเศษ:

#1 การเรียนรู้แบบสมาพันธ์

การเรียนรู้แบบสมาพันธ์เป็นประเด็นร้อนในปัจจุบัน เป็นวิธีแก้ไขปัญหาทรัพยากรไม่เพียงพอที่เกี่ยวข้องกับการฝึกอบรมโมเดลภาษาขนาดใหญ่ เช่น GPT-3 โมเดลเหล่านี้ไม่เพียงแต่มีราคาแพงมาก ( สูงถึง 100 ล้านเหรียญสหรัฐ ) แต่วิธีที่พวกเขาได้รับการฝึกฝนในขณะนี้ก็ไม่ยั่งยืนเช่นกัน

การเรียนรู้แบบรวมศูนย์เป็นเทคนิคที่เกี่ยวข้องกับการฝึกอบรมแบบจำลอง ML บนอุปกรณ์ Edge โดยไม่มีการแลกเปลี่ยนข้อมูลระหว่างกัน ซึ่งทำให้กระบวนการทั้งหมดมีราคาถูกลงและมีความต้องการทางคอมพิวเตอร์น้อยลง มีการส่ง 3 รายการในปีนี้ที่แก้ไขปัญหานี้:

ผู้เขียนบทความนี้จากอาลีบาบาเสนอเกณฑ์มาตรฐานสำหรับวิธีการเรียนรู้แบบรวมศูนย์ส่วนบุคคล กระดาษอีกชิ้นนำเสนอแนวทางเชิงทฤษฎีที่ทำให้การเรียนรู้แบบรวมศูนย์และการทำงานร่วมกันมีประสิทธิภาพมากขึ้น และสุดท้ายบทความนี้จะอธิบายวิธีบรรลุผลลัพธ์ที่ดีขึ้นด้วยการเรียนรู้แบบสมาพันธ์

อีกหนึ่งสิ่งที่ควรค่าแก่การตรวจสอบสำหรับทุกคนที่สนใจในหัวข้อนี้คือInternational Workshop on Federated Learning อนึ่ง เวิร์กช็อปของ NeurIPS โดยทั่วไปจะเป็นการประชุมย่อยที่เน้นหัวข้อมากกว่าภายในกิจกรรมหลัก ดังนั้นคุณจึงสามารถค้นหาสิ่งที่เหมาะกับความสนใจของคุณได้เสมอ

#2 โมเดลพื้นฐานและ Autoregressive

แบบจำลองพื้นฐานเป็นแบบจำลองที่ได้รับการฝึกอบรมเกี่ยวกับข้อมูลที่ไม่มีโครงสร้างจำนวนมหาศาลซึ่งต่อมาได้รับการปรับแต่งอย่างละเอียดด้วยข้อมูลที่มีป้ายกำกับเพื่อตอบสนองความต้องการของแอปพลิเคชันที่หลากหลาย (เช่น BERT) ปัญหาหลักประการหนึ่งคือเพื่อปรับแต่งโมเดลเหล่านี้อย่างละเอียด จำเป็นต้องแนะนำพารามิเตอร์เพิ่มเติม ซึ่งหมายถึงการใช้งาน GPU อย่างต่อเนื่องในคลัสเตอร์พิเศษ ซึ่งยากต่อการจัดหาและการเงิน

เอกสารนี้เสนอวิธีการแบบกระจายศูนย์และมีค่าใช้จ่ายน้อยกว่าในการฝึกอบรมแบบจำลองฐานรากขนาดใหญ่ เอกสารอีกฉบับเสนอรูปแบบพื้นฐานต่อเนื่องหลายรูปแบบสำหรับงานภาษาภาพและภาษาวิดีโอ ผู้เขียนบทความนี้ที่ Microsoft สำรวจวิธีการดึงข้อมูลที่เป็นลายลักษณ์อักษรออกจากรูปภาพ ซึ่งเกี่ยวข้องกับการเชื่อมโยง Computer Vision (CV) และโมเดลภาษา ส่งผลให้ระบบใหม่สามารถสร้างย่อหน้าที่มีคำอธิบายที่ชัดเจนได้

นอกจากนี้ยังมีการประชุมเชิงปฏิบัติการเกี่ยวกับ FMDM ที่ครอบคลุม ซึ่งมีหัวข้อเกี่ยวกับการตรวจสอบว่าโมเดลพื้นฐานและการตัดสินใจสามารถทำงานร่วมกันเพื่อแก้ปัญหาที่ซับซ้อนในระดับได้อย่างไร

#3 เสริมการเรียนรู้ด้วยคำติชมของมนุษย์

การเรียนรู้แบบเสริมแรงเป็นพื้นฐานสำคัญของ NeurIPS มาระยะหนึ่งแล้ว ปัญหาหลักประการหนึ่งที่เราเผชิญอยู่ในปัจจุบันคือ โมเดลขนาดใหญ่มักสร้างเอาต์พุตที่ไม่สอดคล้องกับความต้องการหรือความตั้งใจของผู้ใช้

นักวิจัยที่เขียนบทความนี้นำเสนอแนวทางของพวกเขาในการปรับโมเดลภาษาขนาดใหญ่อย่างละเอียดโดยใช้แนวทางแบบมนุษย์ในวง นั่นคือวิธีการใช้ฝูงชนที่มีการจัดการเพื่อฝึกโมเดลรางวัลสำหรับการเรียนรู้แบบเสริมแรง ส่งผลให้คุณภาพการคาดการณ์เพิ่มขึ้นอย่างมากในแอปพลิเคชันดาวน์สตรีม ข้อดีอีกประการหนึ่งคืองบประมาณที่น้อยกว่า — เมื่อเทียบกับรุ่น GPT-3 ดั้งเดิม จำเป็นต้องใช้พารามิเตอร์ที่ฝึกได้น้อยลง

หัวข้อเดียวกันนี้เป็นเชื้อเพลิงในการประชุมเชิงปฏิบัติการเกี่ยวกับการประเมินแบบจำลองเชิงกำเนิดโดยมนุษย์กล่าวคือ วิธีการดำเนินการประเมินโดยมนุษย์ให้ประสบความสำเร็จเพื่อสนับสนุนแบบจำลองเชิงกำเนิดสำหรับทั้งภาษาและ CV (เช่น GPT-3, DALL-E, CLIP และ OPT)

#4 เวิร์กชอป บทช่วยสอน และการแข่งขันเพิ่มเติม

นอกจากเวิร์กช็อปที่ฉันได้กล่าวถึงแล้ว ยังมีเวิร์กช็อปนี้ที่สำรวจวิธีสร้างระบบการเรียนรู้เสริมกำลังที่ปรับขยายได้มากขึ้น นอกจากนี้ยังมีคำถามที่เจาะลึกถึงวิธีการสร้างระบบมนุษย์ในวงที่ดีขึ้น ลองดูเวิร์กชอปนี้หากคุณต้องการหยุดพักจากหัวข้อทางเทคนิคและมองไปที่อนาคตของความร่วมมือด้านการวิจัย ML

NeurIPS'22 ยังมี บทช่วย สอน 13 บทที่ให้การฝึกอบรมภาคปฏิบัติและคำแนะนำเชิงปฏิบัติ ฉันขอแนะนำให้ดู บทช่วย สอนนี้เกี่ยวกับการสร้างชุดข้อมูล บท นี้เกี่ยวกับความทนทานของโมเดลพื้นฐาน และบทนี้เกี่ยวกับการเพิ่มประสิทธิภาพแบบเบย์ นอกจากนี้ยังมีบทช่วยสอนที่เป็นประโยชน์เกี่ยวกับความยุติธรรมของอัลกอริทึมและ AI ที่รับผิดชอบต่อสังคม

การประชุมในปีนี้มีความท้าทายและการแข่งขัน ที่น่าสนใจ มากมาย หนึ่งในนั้นคือความท้าทายของวิดีโอเกมเกี่ยวกับกลยุทธ์ที่มีประสิทธิภาพสูงสุดสำหรับการเติมสภาพแวดล้อมเสมือนจริง นอกจากนี้ยังมี ความท้าทาย Natural Language for Optimization Modeling (NL4Opt) เช่นเดียวกับOGB-LSCในการเปรียบเทียบกราฟขนาดใหญ่ ซึ่งทั้งสองอย่างนี้มีความท้าทายพอๆ กับความบันเทิง

#5 NeurIPS'22 โซเชียล

ฉันยังขอแนะนำสังคมของปีนี้ซึ่งเป็นวิธีที่ยอดเยี่ยมในการเรียนรู้สิ่งใหม่ ๆ พร้อมโอกาสในการมีส่วนร่วมโดยตรง ตรงกันข้ามกับเวิร์กชอปส่วนใหญ่ โซเชียลที่ NeuroIPS มักจะไม่เป็นทางการมากกว่า โดยผู้เข้าร่วมแต่ละคนจะได้รับโอกาสให้มีส่วนร่วมและแสดงความคิดเห็นของตนเอง สังคมทุกแห่งได้รับการดูแลโดยคณะผู้จัดงานซึ่งเป็นผู้นำการอภิปราย แยกแยะส่วนสนับสนุนทั้งหมด แล้วนำเสนอข้อสังเกตสรุป

NeuroIPS'22 เต็มไปด้วยผลงานที่น่าสนใจ ตั้งแต่ML และการเปลี่ยนแปลงสภาพภูมิอากาศไปจนถึงผู้ชื่นชอบ K-Pop ที่ NeurIPS (ใช่ คุณฟังถูกแล้ว) ตัวอย่างเช่น การรวบรวมโต๊ะกลมนี้เป็นเรื่องเกี่ยวกับการเพิ่มขีดความสามารถของผู้ทำหมายเหตุประกอบและความเป็นเลิศของข้อมูล กล่าวคือ วิธีการแก้ไขความขัดแย้งระหว่างผู้ติดฉลากข้อมูล รับความหลากหลายในการสุ่มตัวอย่าง และสร้างระบบ ML ที่ป้องกันอคติ

สรุป

อย่างที่คุณเห็น NeurIPS'22 มีตัวเลือกที่ยอดเยี่ยมมากมายที่ฉันได้รวมไว้ที่นี่ และบางตัวเลือกที่ฉันไม่มีที่ว่างให้พูดถึง ฉันหวังว่าคำแนะนำของฉันจะช่วยให้คุณจัดเวลาได้ดีขึ้น เพื่อไม่ให้พลาดสิ่งสำคัญ