Ngôn ngữ sửa đổi

Hãy tưởng tượng mô tả một nhiệm vụ cho bạn của bạn để thực hiện. Không chắc là họ sẽ hiểu ngay trong lần thử đầu tiên. Thông thường, cần có thêm thông tin liên lạc để sửa đổi và cải thiện những gì đang được thực hiện cho đến nay.

Tại Neurips 2022, tôi đã tiến hành một nghiên cứu nhỏ để hiểu những điều sau:

Q1 : Quá trình sửa đổi có giá trị như thế nào?

Q2 : Các ngôn ngữ sửa đổi và mô tả có khác nhau không?

từ điển điện thoại

Tôi đã chọn nhiệm vụ điện thoại-hình ảnh. Đưa ra một hình ảnh bắt đầu, một nhóm người sẽ mô tả nó (sử dụng từ ngữ), sau đó vẽ lại hình ảnh dựa trên mô tả.

Điều này tiếp tục cho một số lần lặp lại. Như bạn có thể thấy, ngôn ngữ mang tính mô tả và nhằm mục đích để ngăn kéo khôi phục ảnh gốc trong 1 lần chụp.

từ điển điện thoại với các sửa đổi

Điều gì sẽ xảy ra nếu chúng tôi cho phép thêm một bước sửa đổi để sửa một số lỗi? Nó trông giống như thế này:

Lý tưởng nhất là Person1 và Person3 là cùng một người — “lập trình viên” và Person2 và Person4 là cùng một người — “thông dịch viên”. Tôi tách những người này ra để tránh phải ghép một lập trình viên với một thông dịch viên trong cùng một lần lặp.

Tất cả dữ liệu đã thu thập có thể được duyệt tại trang web này (một số hình ảnh có thể không tải ngay, chỉ cần nhấp vào các nút để buộc tải lại).

Q1: Quá trình sửa đổi quan trọng như thế nào?

Đây là cách hình ảnh gốc thay đổi theo thời gian chỉ với các mô tả

Như bạn có thể thấy, chúng tôi nhanh chóng chuyển thành hình chữ nhật và hình tròn.

Đây là với cả mô tả và sửa đổi

Như chúng ta có thể thấy, với sự sửa đổi, chúng ta có thể giữ lại nhiều chi tiết hơn và đi đến một con gấu bông giống như bản vẽ.

Chúng tôi kết luận rằng quá trình sửa đổi là quan trọng.

Q2: Ngôn ngữ mô tả và sửa đổi có khác nhau không?

Các ngôn ngữ mô tả và sửa đổi có khác nhau không? Lần đầu tiên tôi phiên âm tất cả các ngôn ngữ được sử dụng để tạo thành văn bản .

Sau đó, chúng tôi có thể sử dụng tính năng học vài lần của gpt-3 để xem liệu nó có thể phân biệt ngôn ngữ mô tả với ngôn ngữ sửa đổi một cách đáng tin cậy hay không. Tôi đã sử dụng các văn bản của 2 thế hệ đầu tiên làm gợi ý và đánh giá trên 9 thế hệ còn lại.

Đối với các mô tả, chúng tôi nhận được xác định chính xác 9/9 lần. Đối với các sửa đổi, chúng tôi nhận được một nhận dạng chính xác 7/9 lần.

Chúng tôi kết luận rằng các ngôn ngữ mô tả và sửa đổi là khác nhau.

Một vài nhận xét hậu cần

Nghiên cứu này bao gồm khoảng 12 thế hệ của 2 điều kiện, một thế hệ không có sửa đổi (2 người tham gia) và một có sửa đổi (4 người tham gia). (2+4)*12 hoặc tổng cộng khoảng 70 người tham gia. Mỗi điểm dữ liệu mất khoảng 4 phút để thu thập (1 phút giải thích nhiệm vụ và 2–3 phút chờ họ đưa ra câu trả lời), với tổng thời gian khoảng 5 giờ. Bài đăng trên blog này và trang web tương tác có liên quan cũng như nghiên cứu về gpt3 mất khoảng 10 giờ, tổng cộng là 15 giờ làm việc.

Tôi rất vui khi được thực hiện công việc thu thập dữ liệu tại neurips, nơi có chất lượng dữ liệu cao, người chú thích hiểu rõ nhiệm vụ và tôi không cần phải tạo một trang web và lưu trữ trang web đó.

Phần kết luận

Sự sửa đổi rất có giá trị - nếu không có nó, bản vẽ người của chúng ta chỉ còn là hình chữ nhật và hình tròn. Ngôn ngữ sửa đổi khác với ngôn ngữ mô tả — gpt3 có thể phân biệt cái này với cái khác một cách đáng tin cậy.

Các mô hình nền tảng hiện tại như clip và khuếch tán ổn định được đào tạo bằng cách sử dụng dữ liệu mô tả, chẳng hạn như cặp chú thích hình ảnh. Do đó, mặc dù chúng có thể tạo ra kết quả ấn tượng trong 1 lần chụp, nhưng rất khó để tương tác với chúng hơn nữa để sửa đổi và tinh chỉnh đầu ra hiện tại.

Chúng ta nên thu thập thêm bộ dữ liệu về các sửa đổi, trong đó người nói sử dụng ngôn ngữ để cho người nghe biết cách sửa đổi và cải thiện đầu ra hiện có. Đã có một số nỗ lực theo hướng này, chủ yếu trong lĩnh vực chỉnh sửa văn bản và mã, đây là một khởi đầu đầy hứa hẹn.

— evan 2022–12–05

ps xin chân thành cảm ơn tất cả những người đã tham gia vào nghiên cứu này, việc ai đó tiếp cận bạn tại một hội nghị và xin bản vẽ là điều không bình thường, nhưng bạn đã rất tử tế với tôi và chấp nhận điều đó. blog này được viết cho bạn.