Hướng dẫn ngắn gọn về các mục nhập lớn nhất của NeurIPS 2022

Hội nghị và Hội thảo về Hệ thống Xử lý Thông tin Thần kinh (NeurIPS) là một trong những hội nghị quốc tế uy tín nhất về Học máy (ML) và khoa học thần kinh điện toán. Đối với NeurIPS'22 (28 tháng 11 - 9 tháng 12), New Orleans đã được chọn để tổ chức sự kiện này, tiếp theo là phần ảo trong tuần thứ hai.

Kể từ khi bắt đầu vào năm 1987, hội nghị đã chứng kiến ​​một tỷ lệ khá lớn các bài nộp mang tính đột phá, bao gồm MURPHY (1988) và NeuroChess (1994), và gần đây là Word2Vec (2013) và GPT-3 (2020). Năm nay, gần 3000 bài đã được chấp nhận. Với rất nhiều điều trong chương trình nghị sự tại NeurIPS'22, đây là điều gì đó có thể giúp bạn — hướng dẫn ngắn gọn về các chủ đề đặc biệt thú vị:

#1 Học liên kết

Học liên kết là một chủ đề nóng hiện nay — đó là một cách để giải quyết vấn đề thiếu tài nguyên liên quan đến đào tạo các mô hình ngôn ngữ lớn như GPT-3. Những mô hình này không chỉ rất đắt tiền ( lên tới 100 triệu đô la ), mà cách chúng được đào tạo ngay bây giờ cũng không bền vững.

Học liên kết là một kỹ thuật bao gồm đào tạo mô hình ML trên các thiết bị biên mà không cần trao đổi dữ liệu giữa chúng, giúp toàn bộ quá trình rẻ hơn và ít yêu cầu tính toán hơn. Có 3 đệ trình năm nay giải quyết vấn đề này:

Các tác giả của bài báo này từ Alibaba đề xuất một chuẩn mực cho các phương pháp học tập liên kết được cá nhân hóa. Một bài báo khác trình bày một cách tiếp cận lý thuyết giúp cho việc học tập hợp tác và liên kết hiệu quả hơn. Và cuối cùng , bài viết này giải thích cách đạt được kết quả tốt hơn với học liên kết.

Một điều nữa đáng để kiểm tra đối với bất kỳ ai quan tâm đến chủ đề này là Hội thảo Quốc tế về Học tập Liên kết . Ngẫu nhiên, tất cả các hội thảo NeurIPS về cơ bản là các hội nghị nhỏ tập trung vào chủ đề hơn trong sự kiện chính, vì vậy bạn luôn có thể tìm thấy thứ gì đó phù hợp với sở thích của mình.

#2 Các mô hình nền tảng và tự hồi quy

Các mô hình nền tảng là các mô hình được đào tạo trên một lượng lớn dữ liệu phi cấu trúc, sau đó được tinh chỉnh với dữ liệu được gắn nhãn để đáp ứng nhu cầu của nhiều loại ứng dụng (ví dụ: BERT). Một trong những vấn đề chính là để tinh chỉnh các mô hình này, các tham số bổ sung phải được đưa vào. Điều này có nghĩa là việc sử dụng GPU liên tục trong các cụm chuyên biệt, khó có được và tài chính.

Bài báo này đề xuất một cách tiếp cận phi tập trung và ít tốn kém hơn để đào tạo các mô hình nền tảng lớn. Một bài báo khác đề xuất một mô hình nền tảng đa phương thức mới cho các tác vụ ngôn ngữ hình ảnh và ngôn ngữ video. Các tác giả của bài báo này có trụ sở tại Microsoft khám phá cách thông tin bằng văn bản có thể được trích xuất ra khỏi hình ảnh, liên quan đến việc kết nối Thị giác máy tính (CV) và các mô hình ngôn ngữ, dẫn đến một hệ thống mới có khả năng tạo ra các đoạn văn mô tả vững chắc.

Ngoài ra còn có hội thảo FMDM toàn diện này với chủ đề xoay quanh việc tìm hiểu cách các mô hình nền tảng và quá trình ra quyết định có thể kết hợp với nhau để giải quyết các nhiệm vụ phức tạp trên quy mô lớn.

#3 Học tăng cường với phản hồi của con người

Học tăng cường đã là chủ đề nổi bật tại NeurIPS trong một thời gian dài. Một trong những vấn đề chính mà chúng ta gặp phải ngày nay là các mô hình lớn thường tạo ra đầu ra không phù hợp với nhu cầu hoặc mục đích của người dùng.

Các nhà nghiên cứu viết bài báo này trình bày cách họ tinh chỉnh các mô hình ngôn ngữ lớn bằng cách sử dụng phương pháp tiếp cận con người trong vòng lặp, cụ thể là cách quản lý đám đông có thể được sử dụng để đào tạo mô hình phần thưởng cho việc học tăng cường. Điều này dẫn đến sự gia tăng đáng kể chất lượng dự đoán trong các ứng dụng xuôi dòng. Một lợi thế khác là ngân sách nhỏ hơn — so với mô hình GPT-3 ban đầu, yêu cầu ít tham số có thể huấn luyện hơn.

Chủ đề tương tự đã thúc đẩy Hội thảo về Đánh giá con người đối với các mô hình tạo ra , tức là cách thực hiện thành công các đánh giá của con người để hỗ trợ các mô hình tạo ra cho cả ngôn ngữ và CV (ví dụ: GPT-3, DALL-E, CLIP và OPT).

#4 Các hội thảo, hướng dẫn và cuộc thi khác

Ngoài các hội thảo mà tôi đã đề cập, còn có hội thảo này điều tra cách xây dựng các hệ thống học tập tăng cường có thể mở rộng hơn. Ngoài ra còn có phần này đi sâu vào câu hỏi làm thế nào để xây dựng các hệ thống con người trong vòng lặp tốt hơn. Ngoài ra, hãy xem hội thảo này nếu bạn muốn tạm dừng các chủ đề kỹ thuật và thay vào đó nhìn vào tương lai của sự hợp tác nghiên cứu ML.

NeurIPS'22 cũng có 13 hướng dẫn cung cấp đào tạo thực hành và hướng dẫn thực hành. Tôi khuyên bạn nên xem hướng dẫn này về cách xây dựng tập dữ liệu, hướng dẫn này về tính bền vững của các mô hình nền tảng và hướng dẫn này về tối ưu hóa Bayesian . Ngoài ra còn có các hướng dẫn hữu ích về sự công bằng trong thuật toán và AI có trách nhiệm với xã hội.

Hội nghị năm nay có một số thử thách và cuộc thi thú vị . Trong số đó có thử thách trò chơi điện tử này về các chiến lược hiệu quả nhất để tạo môi trường ảo. Ngoài ra còn có thử thách Lập mô hình ngôn ngữ tự nhiên để tối ưu hóa (NL4Opt), cũng như OGB-LSC trong đo điểm chuẩn đồ thị quy mô lớn, cả hai đều là thử thách vừa mang tính giải trí.

#5 Mạng xã hội NeurIPS'22

Tôi cũng đánh giá cao các hoạt động xã hội của năm nay, đây là một cách tuyệt vời để học một điều gì đó mới mẻ với cơ hội tham gia trực tiếp. Trái ngược với hầu hết các hội thảo, các hoạt động xã hội tại NeuroIPS có xu hướng thân mật hơn, mỗi người tham gia đều có cơ hội tham gia và nói lên quan điểm của mình. Mọi hoạt động xã hội đều được kiểm duyệt bởi một ban tổ chức, những người dẫn dắt cuộc thảo luận, tổng hợp tất cả các đóng góp và sau đó trình bày các nhận xét kết luận.

NeuroIPS'22 có đầy đủ các mục thú vị — từ Học máy và biến đổi khí hậu đến những người yêu thích K-Pop tại NeurIPS (vâng, bạn đã nghe đúng rồi đấy). Ví dụ, cuộc họp bàn tròn này tập trung vào việc trao quyền cho người chú thích và tính xuất sắc của dữ liệu, cụ thể là cách giải quyết những bất đồng giữa những người ghi nhãn dữ liệu, đạt được sự đa dạng trong lấy mẫu và xây dựng các hệ thống ML miễn nhiễm với các thành kiến.

Tổng hợp

Như bạn có thể thấy, NeurIPS'22 cung cấp nhiều tùy chọn tuyệt vời mà tôi đã đưa vào đây và một số tùy chọn mà tôi không có chỗ để đề cập. Tôi hy vọng các đề xuất của tôi sẽ giúp bạn sắp xếp thời gian tốt hơn để không bỏ lỡ bất kỳ điều gì quan trọng.