Khám phá GIẤC MƠ và GIẤC MƠ-FLUTE

của Yuling Gu

Cố gắng hiểu thế giới phức tạp xung quanh chúng ta — và giải thích thế giới đó cũng như trải nghiệm của chúng ta về thế giới đó cho người khác — là một đặc điểm đặc biệt của con người. Có lẽ đó là lý do tại sao trong mọi ngôn ngữ được biết đến đều có thứ được gọi là ngôn ngữ tượng hình .

Ngôn ngữ tượng hình bao gồm những thứ như ẩn dụ, thành ngữ, cường điệu và nhân cách hóa. Đó là một từ hoặc cụm từ không nhằm mục đích giải thích theo nghĩa đen, mà được sử dụng để giúp hiểu ý nghĩa của một chủ đề khó hiểu. Tuy nhiên, trên khắp các nền văn hóa và ngôn ngữ, các cụm từ tượng hình có thể bị mất trong bản dịch hoặc khó hiểu.

Trong lĩnh vực xử lý ngôn ngữ, các nhà nghiên cứu đã bắt đầu thử nghiệm ngôn ngữ tượng hình và các mô hình trí tuệ nhân tạo. Tại AI2, một nhóm các nhà nghiên cứu từ các nhóm Aristo, Mosaic và AllenNLP đã cùng nhau xây dựng một hệ thống có tên DREAM-FLUTE nhằm cố gắng xây dựng “mô hình tinh thần” của văn bản đầu vào và sử dụng nó làm ngữ cảnh để giúp hiểu ngôn ngữ tượng hình trong AI . Công trình này được xây dựng dựa trên một bài báo trước đó của ba nhà nghiên cứu giống nhau, DREAM .

Tiếp cận

Khi mọi người được cung cấp một bản mô tả bằng văn bản về một tình huống, khoa học nhận thức gợi ý rằng họ nên hình thành một bức tranh tinh thần về tình huống đó. Ví dụ, với câu “Sau khi trút cơn thịnh nộ, anh ta giống như một con sói hung dữ”, hình ảnh trong tâm trí của ai đó có thể bao gồm một người đang hú như sói và có hành vi đe dọa.

Con người tự nhiên bao gồm các chi tiết ngữ cảnh bổ sung ngoài những gì được nêu rõ ràng trong văn bản để giúp họ thực hiện các nhiệm vụ như trả lời câu hỏi và hiểu ngôn ngữ tượng hình. Tuy nhiên, việc hiểu ngôn ngữ tượng hình vẫn là một vấn đề đặc biệt thách thức đối với AI ( Stowe và cộng sự, 2022 ).

Trong suốt ba ngày Hackathon tại AI2, nhóm của chúng tôi đã bắt tay vào nỗ lực giải quyết thử thách trong Nhiệm vụ chung Figlang2022 về Hiểu ngôn ngữ tượng hình. Chúng tôi đã giới thiệu DREAM-FLUTE, một hệ thống chiến thắng đã đạt được (chung) vị trí đầu tiên cho nhiệm vụ được chia sẻ. Hệ thống sử dụng việc xây dựng cảnh để xây dựng một “mô hình tinh thần” về các tình huống được mô tả bằng ngôn ngữ tượng hình để xác định ý nghĩa hợp lý của chúng. Nó được xây dựng dựa trên mô hình xây dựng cảnh, DREAM, mô hình này tạo ra các chi tiết bổ sung, thích hợp về từng tình huống nhất định trong văn bản đầu vào, cùng với các khía cạnh khái niệm chính được cung cấp bởi khoa học nhận thức, hiểu câu chuyện và tài liệu lập kế hoạch.

Kết quả

Đưa ra một cặp câu đầu vào, nhiệm vụ có hai phần: (1). đầu tiên phân loại xem hai câu nối tiếp hay mâu thuẫn với nhau; thì (2). tạo ra một lời giải thích bằng văn bản về lý do tại sao chúng kéo theo/mâu thuẫn. Nhóm của chúng tôi đã chứng minh tính hiệu quả của hệ thống một mô hình trong việc đạt được điểm số cao nhất trong nhiệm vụ, cũng như tính linh hoạt của việc triển khai một hệ thống đồng bộ không chỉ mang lại những cải tiến hơn nữa cho nhiệm vụ này mà còn cho phép tùy chỉnh để phù hợp với các yêu cầu khác nhau. các ứng dụng xuôi dòng.

Bằng cách kết hợp xây dựng cảnh hậu quả có thể xảy ra từ DREAM, DREAM-FLUTE (hậu quả) được xếp hạng đầu tiên dựa trên chỉ số bảng xếp hạng chính thức, yêu cầu giải thích phải có chất lượng cao. Trên hết, chúng tôi đã giới thiệu DREAM-FLUTE (đồng diễn), một hệ thống đồng tấu giúp sử dụng nhiều hơn ngữ cảnh, đạt được những cải tiến hơn nữa.

Ngay cả trước đó, việc sử dụng công cụ xây dựng cảnh của DREAM làm ngữ cảnh bổ sung đã được chứng minh là cải thiện hiệu suất trả lời câu hỏi (QA) trên các mô hình khác nhau ( Macaw , UnifiedQA ) và trên các tác vụ hạ nguồn khác nhau như ĐẠO ĐỨC ( Hendrycks và cộng sự, 2021 ), CODAH ( Chen và cộng sự, 2019 ) và IQA xã hội ( Sap và cộng sự, 2019 ). DREAM-FLUTE được xây dựng dựa trên thành công này và thể hiện ứng dụng hiệu quả trong lĩnh vực hiểu ngôn ngữ tượng hình.

Sự va chạm

Khoa học nhận thức từ lâu đã thúc đẩy việc hình thành các mô hình tinh thần - những biểu hiện mạch lạc, được xây dựng về các tình huống mà chúng ta gặp phải - là trọng tâm để hiểu và trả lời câu hỏi ( Johnson-Laird, 1983 ). Dựa trên ý tưởng này một cách lỏng lẻo, nhưng không đưa ra bất kỳ tuyên bố nào về cách các mô hình ngôn ngữ (LM) lập luận bên trong, chúng tôi nhằm mục đích điều tra xem liệu một mô hình ngôn ngữ có thể thực hiện các nhiệm vụ hiểu ngôn ngữ khác nhau tốt hơn nếu chúng được cung cấp thêm các chi tiết thích hợp, bổ sung về các tình huống trong đầu vào chữ.

Con người nhanh chóng điền vào những thông tin ngầm như vậy bằng cách sử dụng kiến ​​thức thông thường cơ bản, nhưng các hệ thống AI tốt nhất hiện nay vẫn gặp khó khăn. Ví dụ, để đáp lại lời nhắc, “Sau khi trút cơn thịnh nộ, anh ấy giống như một con sói hung dữ. Điều gì có khả năng xảy ra? GPT-3 của OpenAI đã trả lời: “Người đó có khả năng trở nên bình tĩnh và thoải mái.” Thật khó để hình dung ẩn dụ “con sói hung dữ” sẽ dẫn đến suy luận “trở nên bình tĩnh và thoải mái” một cách mạch lạc như thế nào.

Chuỗi tác phẩm DREAM cố gắng thu hẹp khoảng cách giữa sự hiểu biết của con người về thông tin ẩn và những gì hệ thống AI hiện tại có thể làm. Thông qua loạt bài này, chúng tôi có thể chứng minh rằng cách tiếp cận của chúng tôi có thể dễ dàng thích ứng với các mô hình ngôn ngữ khác và định dạng không phụ thuộc vào nhiệm vụ (ví dụ: QA hoặc NLI) và miền (ví dụ: các quyết định đạo đức hoặc hiểu ngôn ngữ tượng hình). Những phát hiện này cho thấy những cơ hội thú vị để cải thiện hơn nữa và khai thác các công đoạn xây dựng cảnh để giải quyết tốt hơn các vấn đề mới.

Các bước tiếp theo

Chúng tôi hy vọng rằng sê-ri DREAM sẽ thúc đẩy sự tiến bộ đối với các hệ thống AI với các “mô hình tinh thần” nhất quán và chặt chẽ hơn để đưa các hệ thống này tiến gần hơn đến khả năng suy luận ở cấp độ con người.

ƯỚC MƠ là bước đầu tiên quan trọng, nhưng cần phải làm nhiều hơn nữa. Ngay cả việc xây dựng cảnh trong DREAM cũng không hoàn hảo — việc xây dựng “mô hình tinh thần” chính xác, nhất quán và hữu ích sẽ là một hướng đi đầy hứa hẹn cho công việc trong tương lai.

Mặc dù một người có thể chắc chắn rằng một “con sói hung dữ” khó có thể “bình tĩnh và thoải mái”, nhưng ngay cả những mô hình AI tốt nhất cũng không thể hiện khả năng đó một cách nhất quán. Chúng tôi khuyến khích các nhà nghiên cứu khác tiếp tục phát triển công việc của chúng tôi, cải thiện cấu trúc và chất lượng của những “mô hình tinh thần” như vậy, đồng thời khám phá việc sử dụng những mô hình này để giúp các hệ thống AI hoạt động tốt hơn.

Để đọc thêm, hãy xem bài viết của chúng tôi “Chỉ cần mơ về nó: Hiểu ngôn ngữ tượng hình với DREAM-FLUTE”

Theo dõi @ai2_allennlp và @allen_ai trên Twitter và đăng ký Bản tin AI2 để cập nhật tin tức và nghiên cứu về AI2.