Menjelajahi MIMPI dan MIMPI-FLUTE

oleh Yu Ling Gu

Mencoba memahami dunia yang kompleks di sekitar kita — dan menjelaskan dunia itu dan pengalaman kita tentangnya kepada orang lain — adalah sifat yang sangat manusiawi. Mungkin itu sebabnya, di setiap bahasa yang dikenal, ada yang disebut bahasa kiasan .

Bahasa kiasan mencakup hal-hal seperti metafora, idiom, hiperbola, dan personifikasi. Ini adalah kata atau frasa yang tidak dimaksudkan untuk ditafsirkan secara harfiah, melainkan digunakan untuk membantu memahami topik yang membingungkan. Namun, lintas budaya dan bahasa, frasa kiasan dapat hilang dalam terjemahan atau sulit dipahami.

Di ranah pemrosesan bahasa, para peneliti telah mulai bereksperimen dengan bahasa kiasan dan model kecerdasan buatan. Di AI2, tim peneliti dari tim Aristo, Mosaic, dan AllenNLP berkumpul untuk membangun sistem yang disebut DREAM-FLUTE yang berupaya membangun "model mental" teks masukan, dan menggunakannya sebagai konteks untuk membantu pemahaman bahasa figuratif dalam AI. . Karya ini dibuat berdasarkan makalah sebelumnya oleh tiga peneliti yang sama, DREAM .

Pendekatan

Ketika orang disajikan dengan deskripsi tekstual dari suatu situasi, ilmu kognitif menunjukkan bahwa mereka membentuk gambaran mental dari situasi itu. Misalnya, diberikan kalimat, "Setelah melampiaskan amarahnya, dia seperti serigala ganas," gambaran mental seseorang mungkin termasuk orang yang melolong seperti serigala dan berperilaku mengancam.

Manusia secara alami menyertakan detail kontekstual tambahan di luar apa yang dinyatakan secara eksplisit dalam teks untuk membantu mereka dalam tugas-tugas seperti menjawab pertanyaan dan memahami bahasa kiasan. Namun, memahami bahasa kiasan tetap menjadi masalah yang sangat menantang bagi AI ( Stowe et al., 2022 ).

Selama tiga hari Hackathon di AI2, tim kami memulai upaya untuk mengatasi tantangan di Tugas Bersama Figlang2022 tentang Memahami Bahasa Figuratif. Kami mempresentasikan DREAM-FLUTE, sistem kemenangan yang mencapai (bersama) tempat pertama untuk tugas bersama. Sistem memanfaatkan elaborasi adegan untuk membangun "model mental" dari situasi yang dijelaskan dalam bahasa kiasan untuk mengidentifikasi makna yang masuk akal dari situasi tersebut. Itu dibangun di atas model elaborasi adegan, MIMPI, yang menghasilkan detail tambahan yang relevan tentang setiap situasi yang diberikan dalam teks masukan, sepanjang dimensi konseptual utama yang diinformasikan oleh ilmu kognitif, pemahaman cerita, dan literatur perencanaan.

Hasil

Diberikan pasangan kalimat masukan, tugas memiliki dua bagian: (1). pertama mengklasifikasikan apakah dua kalimat memerlukan atau bertentangan satu sama lain; lalu (2). menghasilkan penjelasan tekstual tentang mengapa mereka memerlukan / bertentangan. Tim kami mendemonstrasikan keefektifan sistem model tunggal dalam hal mencapai skor teratas dalam tugas, serta fleksibilitas penerapan sistem ansambel yang tidak hanya menghasilkan peningkatan lebih lanjut untuk tugas ini, tetapi juga memungkinkan penyesuaian untuk memenuhi persyaratan yang berbeda. aplikasi hilir.

Dengan memasukkan kemungkinan elaborasi adegan konsekuensi dari DREAM, DREAM-FLUTE (konsekuensi) menduduki peringkat pertama berdasarkan metrik papan peringkat resmi, yang membutuhkan penjelasan berkualitas tinggi. Selain itu, kami menghadirkan DREAM-FLUTE (ensemble), sistem ansambel yang memanfaatkan konteks lebih lanjut, mencapai peningkatan lebih lanjut.

Bahkan sebelum ini, menggunakan elaborasi adegan DREAM sebagai konteks tambahan telah terbukti meningkatkan kinerja penjawab pertanyaan (QA) pada model yang berbeda ( Macaw , UnifiedQA ) dan di berbagai tugas hilir seperti ETHICS ( Hendrycks et al., 2021 ), CODAH ( Chen et al., 2019 ) dan Social IQA ( Sap et al., 2019 ). DREAM-FLUTE dibangun di atas kesuksesan ini dan menunjukkan aplikasi yang efektif di bidang pemahaman bahasa kiasan.

Benturan

Ilmu pengetahuan kognitif telah lama mempromosikan pembentukan model mental - koheren, representasi yang dibangun dari situasi yang kita hadapi - sebagai pusat pemahaman dan penjawaban pertanyaan ( Johnson-Laird, 1983 ). Menarik secara longgar ide ini, tetapi tanpa membuat klaim apa pun tentang bagaimana model bahasa (LM) bernalar secara internal, kami bertujuan untuk menyelidiki apakah model bahasa dapat melakukan berbagai tugas pemahaman bahasa dengan lebih baik jika dilengkapi dengan detail tambahan yang relevan tentang situasi di input. teks.

Manusia dengan cepat mengisi informasi implisit seperti itu menggunakan latar belakang pengetahuan akal sehat, tetapi sistem AI terbaik saat ini masih kesulitan. Misalnya, menanggapi prompt, “Setelah melampiaskan amarahnya, dia seperti serigala ganas. Apa yang mungkin terjadi?” GPT-3 OpenAI menjawab, "Orang tersebut cenderung menjadi tenang dan santai." Sulit membayangkan bagaimana metafora "serigala ganas" secara koheren mengarah pada kesimpulan "menjadi tenang dan santai".

Serangkaian karya DREAM berupaya untuk menutup kesenjangan antara pemahaman manusia tentang informasi implisit dan apa yang dapat dilakukan oleh sistem AI saat ini. Melalui seri ini, kami dapat menunjukkan bahwa pendekatan kami mudah disesuaikan dengan model bahasa lain, dan tugas-agnostik dalam format (misalnya QA atau NLI) dan domain (misalnya keputusan etis atau pemahaman bahasa kiasan). Temuan ini menunjukkan peluang menarik untuk lebih meningkatkan dan mengeksploitasi elaborasi adegan untuk memecahkan masalah baru dengan lebih baik.

Langkah Selanjutnya

Kami berharap seri DREAM akan memacu kemajuan menuju sistem AI dengan "model mental" yang lebih konsisten dan koheren untuk membawa sistem ini selangkah lebih dekat ke kemampuan penalaran tingkat manusia.

MIMPI adalah langkah awal yang penting, tetapi masih banyak yang harus dilakukan. Bahkan penjabaran adegan dari DREAM tidaklah sempurna — membangun "model mental" yang akurat, konsisten, dan bermanfaat akan menjadi arah yang menjanjikan untuk pekerjaan di masa mendatang.

Meskipun seseorang dapat memastikan bahwa "serigala ganas" tidak mungkin "tenang dan santai", bahkan model AI terbaik pun tidak secara konsisten menunjukkan kemampuan seperti itu. Kami mendorong peneliti lain untuk mengembangkan pekerjaan kami, untuk meningkatkan struktur dan kualitas "model mental" semacam itu, dan untuk mengeksplorasi penggunaan model ini dalam membantu sistem AI bekerja lebih baik.

Untuk membaca lebih lanjut, lihat makalah kami “Just-DREAM-about-it: Figurative Language Understanding with DREAM-FLUTE”

Ikuti @ai2_allennlp dan @allen_ai di Twitter, dan berlangganan Buletin AI2 untuk menyampaikan berita terkini dan penelitian yang keluar dari AI2.