Explorando DREAM e DREAM-FLUTE

por Yuling Gu

Tentar entender o mundo complexo ao nosso redor – e explicar esse mundo e nossa experiência dele para os outros – é uma característica particularmente humana. Talvez seja por isso que, em todas as línguas conhecidas, existe o que se chama de linguagem figurativa .

A linguagem figurativa inclui coisas como metáforas, expressões idiomáticas, hipérbole e personificação. É uma palavra ou frase que não deve ser interpretada literalmente, mas usada para ajudar a entender um tópico confuso. Entre culturas e idiomas, no entanto, frases figurativas podem ser perdidas na tradução ou difíceis de entender.

No domínio do processamento da linguagem, os pesquisadores começaram a experimentar a linguagem figurativa e os modelos de inteligência artificial. No AI2, uma equipe de pesquisadores das equipes Aristo, Mosaic e AllenNLP se uniu para construir um sistema chamado DREAM-FLUTE que tenta construir “modelos mentais” de texto de entrada e usá-lo como contexto para ajudar na compreensão da linguagem figurativa em AIs . Este trabalho se baseia em um artigo anterior de três dos mesmos pesquisadores, DREAM .

A abordagem

Quando as pessoas recebem uma descrição textual de uma situação, a ciência cognitiva sugere que elas formem uma imagem mental dessa situação. Por exemplo, dada a frase “Depois de liberar sua raiva, ele era como um lobo feroz”, a imagem mental de alguém pode incluir uma pessoa uivando como um lobo e se comportando de maneira ameaçadora.

Os seres humanos naturalmente incluem detalhes contextuais adicionais além do que é explicitamente declarado no texto para ajudá-los em tarefas como responder a perguntas e entender a linguagem figurada. No entanto, entender a linguagem figurada continua sendo um problema particularmente desafiador para a IA ( Stowe et al., 2022 ).

Ao longo de um Hackathon de três dias no AI2, nossa equipe embarcou em uma tentativa de enfrentar o desafio da Tarefa Compartilhada Figlang2022 sobre Compreensão da Linguagem Figurativa. Apresentamos o DREAM-FLUTE, um sistema vencedor que alcançou o primeiro lugar (conjunto) na tarefa compartilhada. O sistema faz uso da elaboração de cenas para construir um “modelo mental” das situações descritas em linguagem figurada para identificar significados sensíveis das mesmas. Baseia-se no modelo de elaboração de cena, DREAM, que gera detalhes adicionais e pertinentes sobre cada situação dada no texto de entrada, ao longo das principais dimensões conceituais informadas pela ciência cognitiva, compreensão da história e literatura de planejamento.

Os resultados

Dado um par de sentenças de entrada, a tarefa tem duas partes: (1). primeiro classifique se as duas sentenças implicam ou se contradizem; então (2). gerar uma explicação textual sobre por que eles implicam/contradizem. Nossa equipe demonstrou a eficácia do sistema de modelo único em termos de obtenção de pontuações máximas na tarefa, bem como a flexibilidade de implementar um sistema de conjunto que não apenas produz melhorias adicionais para esta tarefa, mas também permite a personalização para atender aos requisitos de diferentes aplicações a jusante.

Ao incorporar a elaboração da cena de consequência provável de DREAM, DREAM-FLUTE (consequência) foi classificado em primeiro lugar com base na métrica da tabela de classificação oficial, que exige que as explicações sejam de alta qualidade. Além disso, apresentamos o DREAM-FLUTE (ensemble), um sistema de ensemble que aproveita ainda mais o contexto, obtendo melhorias adicionais.

Mesmo antes disso, o uso da elaboração de cena do DREAM como contexto adicional demonstrou melhorar o desempenho de resposta a perguntas (QA) em diferentes modelos ( Macaw , UnifiedQA ) e em diferentes tarefas posteriores, como ETHICS ( Hendrycks et al., 2021 ), CODAH ( Chen et al., 2019 ) e Social IQA ( Sap et al., 2019 ). DREAM-FLUTE se baseia nesse sucesso e demonstra uma aplicação eficaz na área de compreensão da linguagem figurativa.

O impacto

A ciência cognitiva há muito promove a formação de modelos mentais - representações coerentes e construídas das situações que encontramos - como centrais para a compreensão e a resposta a perguntas ( Johnson-Laird, 1983 ). Baseando-se vagamente nessa ideia, mas sem fazer nenhuma afirmação de como os modelos de linguagem (LM) raciocinam internamente, pretendemos investigar se um modelo de linguagem pode executar melhor várias tarefas de compreensão da linguagem se receber detalhes adicionais e pertinentes sobre situações na entrada texto.

Os humanos preenchem rapidamente essas informações implícitas usando o conhecimento do senso comum, mas os melhores sistemas de IA hoje ainda lutam. Por exemplo, em resposta ao prompt: “Depois de liberar sua raiva, ele era como um lobo feroz. O que provavelmente acontecerá? O GPT-3 da OpenAI respondeu: “É provável que a pessoa fique calma e relaxada”. É difícil conceber como a metáfora “lobo feroz” levaria coerentemente à inferência “tornar-se calmo e relaxado”.

A série de trabalhos DREAM tenta fechar essa lacuna entre a compreensão humana da informação implícita e o que os atuais sistemas de IA podem fazer. Através da série, fomos capazes de demonstrar que nossa abordagem é facilmente adaptável a outros modelos de linguagem e independente de tarefas em formato (por exemplo, QA ou NLI) e domínio (por exemplo, decisões éticas ou compreensão de linguagem figurativa). Essas descobertas sugerem oportunidades empolgantes para melhorar ainda mais e explorar as elaborações de cenas para melhor resolver novos problemas.

Os próximos passos

Esperamos que a série DREAM estimule o progresso em direção a sistemas de IA com “modelos mentais” mais consistentes e coerentes para levar esses sistemas um passo mais perto das capacidades de raciocínio em nível humano.

DREAM é um primeiro passo importante, mas é preciso fazer mais. Mesmo as elaborações de cenas de DREAM não são perfeitas — a construção de “modelos mentais” precisos, consistentes e úteis seria uma direção promissora para trabalhos futuros.

Embora uma pessoa possa afirmar que é improvável que um “lobo feroz” seja “calmo e relaxado”, mesmo os melhores modelos de IA não demonstram consistentemente essa capacidade. Encorajamos outros pesquisadores a desenvolver nosso trabalho, melhorar a estrutura e a qualidade desses “modelos mentais” e explorar o uso desses modelos para ajudar os sistemas de IA a terem um melhor desempenho.

Para ler mais, veja nosso artigo “Just-DREAM-about-it: Figurative Language Understanding with DREAM-FLUTE”

Siga @ai2_allennlp e @allen_ai no Twitter e assine o boletim AI2 para ficar por dentro das novidades e pesquisas que saem do AI2.