Odkrywanie DREAM i DREAM-FLUTE

przez Yuling Gu

Próba zrozumienia otaczającego nas złożonego świata — i wyjaśnianie tego świata i naszych doświadczeń z nim innym — jest cechą szczególnie ludzką. Być może dlatego w każdym znanym języku istnieje tak zwany język figuratywny .

Język figuratywny obejmuje metafory, idiomy, hiperbolę i personifikację. Jest to słowo lub wyrażenie, które nie powinno być interpretowane dosłownie, ale raczej używane, aby pomóc zrozumieć zagmatwany temat. Jednak w różnych kulturach i językach wyrażenia graficzne mogą zostać utracone w tłumaczeniu lub trudne do zrozumienia.

W dziedzinie przetwarzania języka naukowcy zaczęli eksperymentować z językiem figuratywnym i modelami sztucznej inteligencji. W AI2 zespół naukowców z zespołów Aristo, Mosaic i AllenNLP zebrał się, aby zbudować system o nazwie DREAM-FLUTE , który próbuje zbudować „modele mentalne” tekstu wejściowego i wykorzystać go jako kontekst, aby pomóc w zrozumieniu języka figuratywnego w AI . Ta praca opiera się na poprzednim artykule trzech tych samych badaczy, DREAM .

Podejście

Kiedy ludziom przedstawia się tekstowy opis sytuacji, kognitywistyka sugeruje, że tworzą oni mentalny obraz tej sytuacji. Na przykład, biorąc pod uwagę zdanie: „Po uwolnieniu się od wściekłości, był jak dziki wilk”, czyjś umysłowy obraz może obejmować osobę wyjącą jak wilk i zachowującą się groźnie.

Ludzie w naturalny sposób uwzględniają dodatkowe szczegóły kontekstowe wykraczające poza to, co jest wyraźnie określone w tekście, aby pomóc im w zadaniach, takich jak odpowiadanie na pytania i rozumienie języka symbolicznego. Jednak zrozumienie języka figuratywnego pozostaje szczególnie trudnym problemem dla sztucznej inteligencji ( Stowe i in., 2022 ).

W trakcie trzydniowego Hackathonu w AI2 nasz zespół podjął próbę rozwiązania zadania wspólnego zadania Figlang2022 dotyczącego zrozumienia języka figuratywnego. Zaprezentowaliśmy DREAM-FLUTE, zwycięski system , który zajął (wspólne) pierwsze miejsce za wspólne zadanie. System wykorzystuje opracowanie scen do zbudowania „modelu mentalnego” sytuacji opisanych w języku figuratywnym w celu zidentyfikowania ich sensownych znaczeń. Opiera się na modelu opracowywania scen, DREAM, który generuje dodatkowe, istotne szczegóły dotyczące każdej danej sytuacji w tekście wejściowym, wraz z kluczowymi wymiarami pojęciowymi opartymi na kognitywistyce, zrozumieniu historii i literaturze dotyczącej planowania.

Wyniki

Biorąc pod uwagę parę zdań wejściowych, zadanie składa się z dwóch części: (1). najpierw sklasyfikować, czy te dwa zdania pociągają za sobą, czy są ze sobą sprzeczne; wtedy (2). wygenerować tekstowe wyjaśnienie, dlaczego pociągają za sobą/sprzeczają się. Nasz zespół zademonstrował skuteczność systemu pojedynczego modelu w zakresie osiągania najwyższych wyników w zadaniu, a także elastyczność wdrażania systemu zespołowego, który nie tylko przynosi dalsze ulepszenia tego zadania, ale także umożliwia dostosowanie do wymagań różnych aplikacje podrzędne.

Dzięki uwzględnieniu prawdopodobnego opracowania sceny konsekwencji z DREAM, DREAM-FLUTE (konsekwencja) zajął pierwsze miejsce w oparciu o metrykę oficjalnej tabeli liderów, która wymaga wysokiej jakości wyjaśnień. Ponadto zaprezentowaliśmy DREAM-FLUTE (zespół), system zespołowy, który w dalszym stopniu wykorzystuje kontekst, osiągając dalsze ulepszenia.

Jeszcze wcześniej wykazano, że wykorzystanie opracowania sceny DREAM jako dodatkowego kontekstu poprawia wydajność odpowiadania na pytania (QA) w różnych modelach ( Makaw , UnifiedQA ) i w różnych zadaniach, takich jak ETYKA ( Hendrycks i in., 2021 ), CODAH ( Chen i in., 2019 ) oraz Social IQA ( Sap i in., 2019 ). DREAM-FLUTE opiera się na tym sukcesie i demonstruje skuteczne zastosowanie w obszarze rozumienia języka figuratywnego.

Wpływ

Kognitywistyka od dawna promuje tworzenie modeli umysłowych — spójnych, skonstruowanych reprezentacji sytuacji, z którymi się spotykamy — jako kluczowe dla zrozumienia i odpowiadania na pytania ( Johnson-Laird, 1983 ). Opierając się luźno na tym pomyśle, ale nie twierdząc, w jaki sposób modele językowe (LM) rozumują wewnętrznie, chcieliśmy zbadać, czy model językowy może lepiej wykonywać różne zadania związane z rozumieniem języka, jeśli otrzyma dodatkowe, istotne szczegóły dotyczące sytuacji na wejściu tekst.

Ludzie szybko wypełniają takie ukryte informacje, korzystając ze zdroworozsądkowej wiedzy podstawowej, ale najlepsze dzisiejsze systemy sztucznej inteligencji wciąż mają z tym problemy. Na przykład w odpowiedzi na podpowiedź: „Po uwolnieniu wściekłości był jak dziki wilk. Co się prawdopodobnie stanie? GPT-3 OpenAI odpowiedział: „Ta osoba prawdopodobnie stanie się spokojna i zrelaksowana”. Trudno sobie wyobrazić, w jaki sposób metafora „okrutny wilk” mogłaby spójnie prowadzić do wniosku „stać się spokojnym i zrelaksowanym”.

Seria prac DREAM jest próbą wypełnienia luki między ludzkim rozumieniem informacji ukrytych a tym, co potrafią obecne systemy sztucznej inteligencji. Dzięki tej serii byliśmy w stanie wykazać, że nasze podejście można łatwo dostosować do innych modeli językowych i jest ono niezależne od formatu (np. QA lub NLI) i dziedziny (np. decyzje etyczne lub rozumienie języka symbolicznego). Odkrycia te sugerują ekscytujące możliwości dalszego ulepszania i wykorzystywania opracowań scen w celu lepszego rozwiązywania nowych problemów.

Następne kroki

Mamy nadzieję, że seria DREAM przyspieszy postęp w kierunku systemów sztucznej inteligencji z bardziej spójnymi i spójnymi „modelami mentalnymi”, aby zbliżyć te systemy o krok do możliwości rozumowania na poziomie człowieka.

DREAM to ważny pierwszy krok, ale trzeba zrobić więcej. Nawet opracowania scen z DREAM nie są doskonałe — budowanie „modeli mentalnych”, które są dokładne, spójne i użyteczne, byłoby obiecującym kierunkiem przyszłej pracy.

Chociaż człowiek może stwierdzić, że „okrutny wilk” raczej nie będzie „spokojny i zrelaksowany”, nawet najlepsze modele sztucznej inteligencji nie wykazują konsekwentnie takiej zdolności. Zachęcamy innych badaczy do korzystania z naszej pracy w celu poprawy struktury i jakości takich „modeli mentalnych” oraz do zbadania wykorzystania tych modeli, aby pomóc systemom sztucznej inteligencji działać lepiej.

Aby dowiedzieć się więcej, zobacz nasz artykuł „Just-DREAM-about-it: Figurative Language Understanding with DREAM-FLUTE”

Śledź @ai2_allennlp i @allen_ai na Twitterze i subskrybuj biuletyn AI2 , aby być na bieżąco z wiadomościami i badaniami AI2.