Explorando DREAM y DREAM-FLUTE

por Yuling Gu

Tratar de comprender el mundo complejo que nos rodea, y explicar ese mundo y nuestra experiencia de él a los demás, es un rasgo particularmente humano. Quizá por eso, en todo idioma conocido, existe lo que se conoce como lenguaje figurado .

El lenguaje figurativo incluye cosas como metáforas, modismos, hipérboles y personificaciones. Es una palabra o frase que no debe interpretarse literalmente, sino que se usa para ayudar a dar sentido a un tema confuso. Sin embargo, en todas las culturas e idiomas, las frases figurativas pueden perderse en la traducción o ser difíciles de entender.

En el ámbito del procesamiento del lenguaje, los investigadores han comenzado a experimentar con lenguaje figurativo y modelos de inteligencia artificial. En AI2, un equipo de investigadores de los equipos Aristo, Mosaic y AllenNLP se unió para construir un sistema llamado DREAM-FLUTE que intenta construir "modelos mentales" de texto de entrada y usarlo como contexto para ayudar a la comprensión del lenguaje figurativo en IA. . Este trabajo se basa en un artículo anterior de tres de los mismos investigadores, DREAM .

El enfoque

Cuando a las personas se les presenta una descripción textual de una situación, la ciencia cognitiva sugiere que se formen una imagen mental de esa situación. Por ejemplo, dada la oración, “Después de liberar su ira, era como un lobo feroz”, la imagen mental de alguien puede incluir a una persona aullando como un lobo y comportándose de manera amenazante.

Los humanos naturalmente incluyen detalles contextuales adicionales más allá de lo que se establece explícitamente en el texto para ayudarlos en tareas como responder preguntas y comprender el lenguaje figurado. Sin embargo, comprender el lenguaje figurado sigue siendo un problema particularmente desafiante para la IA ( Stowe et al., 2022 ).

En el transcurso de un Hackathon de tres días en AI2, nuestro equipo se embarcó en un intento de abordar el desafío en la Tarea compartida de Figlang2022 sobre la comprensión del lenguaje figurativo. Presentamos DREAM-FLUTE, un sistema ganador que logró el primer lugar (conjuntamente) en la tarea compartida. El sistema hace uso de la elaboración de escenas para construir un “modelo mental” de las situaciones descritas en lenguaje figurado para identificar significados sensibles de las mismas. Se basa en el modelo de elaboración de escenas, DREAM, que genera detalles adicionales y pertinentes sobre cada situación dada en el texto de entrada, junto con dimensiones conceptuales clave informadas por la ciencia cognitiva, la comprensión de historias y la literatura de planificación.

Los resultados

Dado un par de oraciones de entrada, la tarea tiene dos partes: (1). primero clasifique si las dos oraciones se implican o se contradicen; entonces (2). generar una explicación textual sobre por qué implican/contradicen. Nuestro equipo demostró la efectividad del sistema de modelo único en términos de lograr puntajes máximos en la tarea, así como la flexibilidad de implementar un sistema de conjunto que no solo produce mejoras adicionales para esta tarea, sino que también permite la personalización para adaptarse a los requisitos de diferentes aplicaciones aguas abajo.

Al incorporar la elaboración de la escena de probable consecuencia de DREAM, DREAM-FLUTE (consecuencia) se clasificó en primer lugar según la métrica oficial de la tabla de clasificación, que requiere que las explicaciones sean de alta calidad. Además de eso, presentamos DREAM-FLUTE (ensemble), un sistema de conjunto que hace un mayor uso del contexto, logrando mejoras adicionales.

Incluso antes de esto, se ha demostrado que el uso de la elaboración de escenas de DREAM como contexto adicional mejora el rendimiento de la respuesta a preguntas (QA) en diferentes modelos ( Macaw , UnifiedQA ) y en diferentes tareas posteriores como ETHICS ( Hendrycks et al., 2021 ), CODAH ( Chen et al., 2019 ) y Social IQA ( Sap et al., 2019 ). DREAM-FLUTE se basa en este éxito y demuestra una aplicación efectiva en el área de comprensión del lenguaje figurativo.

El impacto

La ciencia cognitiva ha promovido durante mucho tiempo la formación de modelos mentales, representaciones coherentes y construidas de las situaciones que encontramos, como elementos centrales para comprender y responder preguntas ( Johnson-Laird, 1983 ). Basándonos vagamente en esta idea, pero sin afirmar cómo razonan internamente los modelos de lenguaje (LM), nuestro objetivo fue investigar si un modelo de lenguaje puede realizar mejor varias tareas de comprensión del lenguaje si se le proporcionan detalles adicionales pertinentes sobre situaciones en la entrada. texto.

Los humanos completan rápidamente dicha información implícita utilizando conocimientos previos de sentido común, pero los mejores sistemas de IA de hoy todavía tienen dificultades. Por ejemplo, en respuesta al mensaje, “Después de liberar su ira, era como un lobo feroz. ¿Qué es probable que suceda? GPT-3 de OpenAI respondió: "Es probable que la persona se calme y se relaje". Es difícil concebir cómo la metáfora "lobo feroz" llevaría coherentemente a la inferencia "tranquilizarse y relajarse".

La serie de trabajos DREAM intenta cerrar esta brecha entre la comprensión humana de la información implícita y lo que pueden hacer los sistemas de IA actuales. A través de la serie, pudimos demostrar que nuestro enfoque se adapta fácilmente a otros modelos lingüísticos y es independiente de las tareas en formato (p. ej., QA o NLI) y dominio (p. ej., decisiones éticas o comprensión del lenguaje figurativo). Estos hallazgos sugieren oportunidades emocionantes para mejorar y explotar aún más las elaboraciones de escenas para resolver mejor los nuevos problemas.

Los siguientes pasos

Esperamos que la serie DREAM estimule el progreso hacia sistemas de IA con "modelos mentales" más consistentes y coherentes para llevar estos sistemas un paso más cerca de las capacidades de razonamiento a nivel humano.

DREAM es un primer paso importante, pero se necesita hacer más. Incluso las elaboraciones de escenas de DREAM no son perfectas: construir "modelos mentales" que sean precisos, consistentes y útiles sería una dirección prometedora para el trabajo futuro.

Si bien una persona puede determinar que es poco probable que un "lobo feroz" esté "tranquilo y relajado", incluso los mejores modelos de IA no demuestran consistentemente tal capacidad. Alentamos a otros investigadores a aprovechar nuestro trabajo para mejorar la estructura y la calidad de dichos "modelos mentales" y explorar el uso de estos modelos para ayudar a que los sistemas de IA funcionen mejor.

Para leer más, vea nuestro artículo "Solo-DREAM-about-it: Comprensión del lenguaje figurativo con DREAM-FLUTE"

Siga a @ai2_allennlp y @allen_ai en Twitter, y suscríbase al boletín informativo de AI2 para estar al tanto de las noticias e investigaciones que surgen de AI2.