Explorer DREAM et DREAM-FLUTE

par Yuling Gu

Essayer de comprendre le monde complexe qui nous entoure – et expliquer ce monde et notre expérience de celui-ci aux autres – est un trait particulièrement humain. C'est peut-être pour cela que dans toutes les langues connues, il y a ce qu'on appelle le langage figuré .

Le langage figuré comprend des choses comme les métaphores, les idiomes, l'hyperbole et la personnification. C'est un mot ou une phrase qui n'est pas destiné à être interprété littéralement, mais plutôt utilisé pour donner un sens à un sujet déroutant. À travers les cultures et les langues, cependant, les phrases figuratives peuvent être perdues dans la traduction ou difficiles à comprendre.

Dans le domaine du traitement du langage, les chercheurs ont commencé à expérimenter des modèles de langage figuratif et d'intelligence artificielle. À AI2, une équipe de chercheurs des équipes Aristo, Mosaic et AllenNLP s'est réunie pour créer un système appelé DREAM-FLUTE qui tente de créer des « modèles mentaux » de texte d'entrée et de les utiliser comme contexte pour aider la compréhension du langage figuratif dans les IA. . Ce travail s'appuie sur un article précédent de trois des mêmes chercheurs, DREAM .

L'approche

Lorsque les gens sont présentés avec une description textuelle d'une situation, la science cognitive suggère qu'ils forment une image mentale de cette situation. Par exemple, étant donné la phrase « Après avoir libéré sa rage, il était comme un loup féroce », l'image mentale de quelqu'un peut inclure une personne hurlant comme un loup et se comportant de manière menaçante.

Les humains incluent naturellement des détails contextuels supplémentaires au-delà de ce qui est explicitement indiqué dans le texte pour les aider dans des tâches telles que répondre à des questions et comprendre le langage figuré. Pourtant, la compréhension du langage figuratif reste un problème particulièrement difficile pour l'IA ( Stowe et al., 2022 ).

Au cours d'un hackathon de trois jours à AI2, notre équipe s'est lancée dans une tentative de relever le défi de la tâche partagée Figlang2022 sur la compréhension du langage figuratif. Nous avons présenté DREAM-FLUTE, un système gagnant qui a obtenu la première place (conjointe) pour la tâche partagée. Le système utilise l'élaboration de scènes pour construire un « modèle mental » des situations décrites en langage figuré afin d'en identifier les significations sensibles. Il s'appuie sur le modèle d'élaboration de scènes, DREAM, qui génère des détails supplémentaires et pertinents sur chaque situation donnée dans le texte d'entrée, ainsi que des dimensions conceptuelles clés éclairées par les sciences cognitives, la compréhension des histoires et la littérature sur la planification.

Les résultats

Étant donné une paire de phrases d'entrée, la tâche comporte deux parties : (1). classer d'abord si les deux phrases s'impliquent ou se contredisent ; puis (2). générer une explication textuelle de la raison pour laquelle ils impliquent / contredisent. Notre équipe a démontré l'efficacité du système à modèle unique en termes d'obtention des meilleurs scores dans la tâche, ainsi que la flexibilité de la mise en œuvre d'un système d'ensemble qui non seulement apporte d'autres améliorations pour cette tâche, mais permet également une personnalisation pour répondre aux exigences de différents applications en aval.

En incorporant l'élaboration de la scène de conséquence probable de DREAM, DREAM-FLUTE (conséquence) a été classé premier sur la base de la métrique officielle du classement, ce qui nécessite des explications de haute qualité. En plus de cela, nous avons présenté DREAM-FLUTE (ensemble), un système d'ensemble qui utilise davantage le contexte, réalisant de nouvelles améliorations.

Même avant cela, il a été démontré que l'utilisation de l'élaboration de scènes de DREAM comme contexte supplémentaire améliore les performances de réponse aux questions (QA) sur différents modèles ( Macaw , UnifiedQA ) et dans différentes tâches en aval telles que ETHICS ( Hendrycks et al., 2021 ), CODAH ( Chen et al., 2019 ) et Social IQA ( Sap et al., 2019 ). DREAM-FLUTE s'appuie sur ce succès et démontre une application efficace dans le domaine de la compréhension du langage figuratif.

L'impact

Les sciences cognitives ont longtemps promu la formation de modèles mentaux - des représentations cohérentes et construites des situations que nous rencontrons - comme éléments essentiels à la compréhension et à la réponse aux questions ( Johnson-Laird, 1983 ). En s'inspirant vaguement de cette idée, mais sans faire aucune déclaration sur la façon dont les modèles de langage (ML) raisonnent en interne, nous avons cherché à déterminer si un modèle de langage peut mieux effectuer diverses tâches de compréhension du langage s'il reçoit des détails supplémentaires et pertinents sur les situations dans l'entrée. texte.

Les humains remplissent rapidement ces informations implicites en utilisant des connaissances de base de bon sens, mais les meilleurs systèmes d'IA d'aujourd'hui ont encore du mal. Par exemple, en réponse à l'invite : « Après avoir relâché sa rage, il était comme un loup féroce. Que se passe-t-il probablement ? » Le GPT-3 d'OpenAI a répondu : "La personne est susceptible de devenir calme et détendue." Il est difficile de concevoir comment la métaphore "loup féroce" conduirait de manière cohérente à l'inférence "devenir calme et détendu".

La série de travaux DREAM tente de combler ce fossé entre la compréhension humaine des informations implicites et ce que les systèmes d'IA actuels peuvent faire. Grâce à la série, nous avons pu démontrer que notre approche est facilement adaptable à d'autres modèles linguistiques et indépendante des tâches en termes de format (par exemple QA ou NLI) et de domaine (par exemple décisions éthiques ou compréhension du langage figuré). Ces résultats suggèrent des opportunités intéressantes pour améliorer et exploiter davantage les élaborations de scènes afin de mieux résoudre de nouveaux problèmes.

Les prochaines étapes

Nous espérons que la série DREAM stimulera les progrès vers des systèmes d'IA avec des «modèles mentaux» plus cohérents et cohérents pour rapprocher ces systèmes des capacités de raisonnement au niveau humain.

DREAM est une première étape importante, mais il reste encore beaucoup à faire. Même les élaborations de scènes de DREAM ne sont pas parfaites - la construction de «modèles mentaux» précis, cohérents et utiles serait une direction prometteuse pour les travaux futurs.

Alors qu'une personne peut déterminer qu'un "loup féroce" est peu susceptible d'être "calme et détendu", même les meilleurs modèles d'IA ne démontrent pas systématiquement une telle capacité. Nous encourageons d'autres chercheurs à s'appuyer sur nos travaux, à améliorer la structure et la qualité de ces «modèles mentaux» et à explorer l'utilisation de ces modèles pour aider les systèmes d'IA à mieux fonctionner.

Pour en savoir plus, consultez notre article "Just-DREAM-about-it: Figurative Language Understanding with DREAM-FLUTE"

Suivez @ai2_allennlp et @allen_ai sur Twitter et abonnez-vous à la newsletter AI2 pour vous tenir au courant des actualités et des recherches issues d'AI2.