Изучение DREAM и DREAM-FLUTE

Юлин Гу

Попытка понять сложный мир вокруг нас — и объяснение этого мира и нашего опыта в нем другим — это особенно человеческая черта. Возможно, именно поэтому в каждом известном языке есть так называемый образный язык .

Образный язык включает в себя такие вещи, как метафоры, идиомы, гиперболы и персонификации. Это слово или фраза, которые не предназначены для буквального толкования, а скорее используются, чтобы помочь разобраться в запутанной теме. Однако в разных культурах и языках образные фразы могут быть потеряны при переводе или трудны для понимания.

В области обработки языка исследователи начали экспериментировать с образным языком и моделями искусственного интеллекта. На AI2 группа исследователей из команд Aristo, Mosaic и AllenNLP собралась вместе, чтобы создать систему под названием DREAM-FLUTE , которая пытается создавать «ментальные модели» входного текста и использовать их в качестве контекста, чтобы помочь понять образный язык в ИИ. . Эта работа основана на предыдущей работе трех тех же исследователей, DREAM .

Подход

Когда людям предъявляют текстовое описание ситуации, когнитивная наука предполагает, что они формируют ментальную картину этой ситуации. Например, учитывая предложение «После того, как он высвободил свою ярость, он был подобен свирепому волку», чей-то мысленный образ может включать в себя человека, воющего как волк и ведущего себя угрожающе.

Люди естественным образом включают дополнительные контекстуальные детали помимо того, что явно указано в тексте, чтобы помочь им в таких задачах, как ответы на вопросы и понимание образного языка. Тем не менее, понимание образного языка остается особенно сложной проблемой для ИИ ( Stowe et al., 2022 ).

В ходе трехдневного хакатона в AI2 наша команда предприняла попытку решить задачу общего задания Figlang2022 по пониманию изобразительного языка. Мы представили DREAM-FLUTE, систему- победительницу , занявшую (совместное) первое место в общем задании. Система использует проработку сцен для построения «ментальной модели» ситуаций, описанных образным языком, для определения их чувственных значений. Он основан на модели проработки сцены, DREAM, которая генерирует дополнительные, соответствующие детали о каждой данной ситуации во входном тексте, наряду с ключевыми концептуальными измерениями, полученными из когнитивной науки, понимания истории и литературы по планированию.

Результаты, достижения

Учитывая входную пару предложений, задача состоит из двух частей: (1). сначала определите, влекут ли эти два предложения друг друга или противоречат друг другу; затем (2). генерировать текстовое объяснение того, почему они влекут за собой/противоречат. Наша команда продемонстрировала эффективность системы с одной моделью с точки зрения достижения наивысших результатов в задании, а также гибкость реализации ансамблевой системы, которая не только обеспечивает дальнейшие улучшения для этой задачи, но и позволяет настраивать ее в соответствии с требованиями различных нижестоящие приложения.

Включив разработку сцены с вероятными последствиями из DREAM, DREAM-FLUTE (последствия) заняла первое место на основе официальной метрики таблицы лидеров, которая требует высокого качества объяснений. Кроме того, мы представили DREAM-FLUTE (ансамбль), ансамблевую систему, которая дополнительно использует контекст, добиваясь дальнейших улучшений.

Еще до этого использование проработки сцены DREAM в качестве дополнительного контекста, как было показано, улучшает производительность ответов на вопросы (QA) в различных моделях ( Macaw , UnifiedQA ) и в различных последующих задачах, таких как ETHICS ( Hendrycks et al., 2021 ), CODAH ( Chen et al., 2019 ) и Social IQA ( Sap et al., 2019 ). DREAM-FLUTE опирается на этот успех и демонстрирует эффективное применение в области понимания образного языка.

Влияние

Когнитивная наука уже давно способствует формированию ментальных моделей — последовательных, сконструированных репрезентаций ситуаций, с которыми мы сталкиваемся, — как центральных для понимания и ответов на вопросы ( Johnson-Laird, 1983 ). В общих чертах опираясь на эту идею, но не делая никаких заявлений о том, как языковые модели (LM) рассуждают внутренне, мы стремились выяснить, может ли языковая модель лучше выполнять различные задачи понимания языка, если они снабжены дополнительными, соответствующими деталями о ситуациях во входных данных. текст.

Люди быстро заполняют такую ​​неявную информацию, используя базовые знания здравого смысла, но лучшие системы ИИ сегодня все еще испытывают трудности. Например, в ответ на подсказку: «Выпустив свою ярость, он стал похож на свирепого волка. Что, вероятно, произойдет?» GPT-3 OpenAI ответил: «Человек, скорее всего, станет спокойным и расслабленным». Трудно себе представить, как метафора «свирепый волк» могла последовательно привести к выводу «стать спокойным и расслабленным».

Серия работ DREAM пытается закрыть этот разрыв между человеческим пониманием неявной информации и тем, что могут сделать современные системы искусственного интеллекта. Благодаря этой серии мы смогли продемонстрировать, что наш подход легко адаптируется к другим языковым моделям и не зависит от задачи по формату (например, QA или NLI) и предметной области (например, этические решения или образное понимание языка). Эти результаты предлагают захватывающие возможности для дальнейшего улучшения и использования проработанных сцен для лучшего решения новых проблем.

Следующие шаги

Мы надеемся, что серия DREAM будет способствовать развитию систем искусственного интеллекта с более согласованными и согласованными «мыслительными моделями», чтобы сделать эти системы на шаг ближе к способностям мышления на уровне человека.

DREAM — важный первый шаг, но еще многое предстоит сделать. Даже проработка сцен в DREAM не идеальна — создание точных, последовательных и полезных «ментальных моделей» было бы многообещающим направлением для будущей работы.

Хотя человек может констатировать, что «свирепый волк» вряд ли будет «спокойным и расслабленным», даже самые лучшие модели ИИ не всегда демонстрируют такую ​​способность. Мы призываем других исследователей опираться на нашу работу, улучшать структуру и качество таких «ментальных моделей» и изучать возможности использования этих моделей для улучшения работы систем ИИ.

Чтобы узнать больше, см. нашу статью «Just-DREAM-about-it: понимание образного языка с помощью DREAM-FLUTE».

Подпишитесь на @ai2_allennlp и @allen_ai в Твиттере и подпишитесь на информационный бюллетень AI2 , чтобы быть в курсе последних новостей и исследований AI2.