DREAM 및 DREAM-FLUTE 탐색

구 율링

우리 주변의 복잡한 세상을 이해하려고 노력하고 그 세상과 그에 대한 우리의 경험을 다른 사람들에게 설명하는 것은 특히 인간의 특성입니다. 아마도 그것이 알려진 모든 언어에 비유적 언어로 알려진 것이 있는 이유일 것입니다 .

비유적 언어에는 은유, 숙어, 과장법, 의인화 등이 포함됩니다. 문자 그대로 해석하기 위한 것이 아니라 혼란스러운 주제를 이해하는 데 사용되는 단어나 구입니다. 그러나 문화와 언어에 따라 비 유적 문구는 번역에서 손실되거나 이해하기 어려울 수 있습니다.

언어 처리 영역에서 연구자들은 비유적 언어와 인공 지능 모델을 실험하기 시작했습니다. AI2에서 Aristo, Mosaic 및 AllenNLP 팀의 연구원 팀이 함께 모여 입력 텍스트의 "정신 모델"을 구축하려고 시도하는 DREAM-FLUTE 라는 시스템을 구축하고 이를 컨텍스트로 사용하여 AI의 비유적 언어 이해를 돕습니다. . 이 작업은 동일한 연구자인 DREAM 의 세 명의 이전 논문을 기반으로 합니다 .

접근

사람들에게 상황에 대한 텍스트 설명이 제시되면 인지 과학은 그들이 그 상황에 대한 정신적 그림을 형성한다고 제안합니다. 예를 들어, "분노를 풀고 나서 그는 사나운 늑대 같았다"라는 문장이 주어졌을 때, 누군가의 심상에는 늑대처럼 울부짖고 위협적인 태도를 취하는 사람이 포함될 수 있습니다.

인간은 자연스럽게 질문에 답하고 비유적인 언어를 이해하는 것과 같은 작업을 돕기 위해 텍스트에 명시적으로 언급된 것 이상의 추가 컨텍스트 세부 정보를 포함합니다. 그러나 비유적 언어를 이해하는 것은 AI에게 특히 어려운 문제로 남아 있습니다( Stowe et al., 2022 ).

AI2에서 3일간 진행된 해커톤 과정에서 우리 팀은 Figlang2022 공동 작업 이해에 관한 과제를 해결하기 위한 시도에 착수했습니다. 공동과제 1위(공동)를 달성 한 우승 시스템 인 DREAM-FLUTE를 선보였 습니다. 이 시스템은 비유적 언어로 묘사된 상황의 "정신적 모델"을 구축하기 위해 장면 정교화를 사용하여 상황의 의미를 식별합니다. 이는 인지 과학, 스토리 이해 및 기획 문헌에서 정보를 얻은 주요 개념적 차원을 따라 입력 텍스트의 각 주어진 상황에 대한 추가 관련 세부 정보를 생성하는 장면 정교화 모델인 DREAM을 기반으로 합니다.

결과

입력 문장 쌍이 주어지면 작업은 두 부분으로 구성됩니다. (1). 먼저 두 문장이 서로 수반되는지 또는 모순되는지 분류하십시오. 그런 다음 (2). 그들이 수반/모순하는 이유에 대한 텍스트 설명을 생성합니다. 우리 팀은 작업에서 최고 점수를 달성하는 측면에서 단일 모델 시스템의 효율성과 이 작업에 대한 추가 개선을 제공할 뿐만 아니라 다양한 요구 사항에 맞게 사용자 정의할 수 있는 앙상블 시스템 구현의 유연성을 입증했습니다. 다운스트림 애플리케이션.

DREAM의 가능성 있는 결과 장면 정교화를 통합함으로써 DREAM-FLUTE(결과)는 높은 품질의 설명이 필요한 공식 리더보드 메트릭을 기반으로 1위를 차지했습니다. 여기에 컨텍스트를 더 활용한 앙상블 시스템인 DREAM-FLUTE(앙상블)를 선보여 더욱 개선됐다.

그 이전에도 DREAM의 장면 정교화를 추가 컨텍스트로 사용하면 다양한 모델( Macaw , UnifiedQA ) 및 ETHICS( Hendrycks et al., 2021 ), CODAH( Chen et al., 2019 ) 및 Social IQA( Sap et al., 2019 ). DREAM-FLUTE는 이러한 성공을 바탕으로 비유적 언어 이해 영역에서 효과적인 적용을 보여줍니다.

영향

인지과학은 이해와 질문에 대한 답변의 중심으로서 우리가 직면하는 상황에 대한 일관되고 구성된 표현인 정신 모델의 형성을 오랫동안 촉진해 왔습니다( Johnson-Laird, 1983 ). 이 아이디어에 느슨하게 의존하지만 언어 모델(LM)이 내부적으로 추론하는 방식에 대한 주장 없이 언어 모델이 입력 상황에 대한 추가 관련 세부 정보가 제공되는 경우 다양한 언어 이해 작업을 더 잘 수행할 수 있는지 조사하는 것을 목표로 했습니다. 텍스트.

인간은 배경 상식을 사용하여 그러한 암시적 정보를 빠르게 채웁니다. 그러나 오늘날 최고의 AI 시스템은 여전히 ​​어려움을 겪고 있습니다. 예를 들어, “분노를 풀고 나니 사나운 늑대 같았다. 무슨 일이 일어날까요?” OpenAI의 GPT-3는 “사람이 차분해지고 여유로워질 것 같다”고 답했다. "사나운 늑대"라는 은유가 어떻게 "침착하고 이완되다"는 추론으로 일관되게 이어질지 상상하기 어렵습니다.

DREAM 시리즈 작업은 암시적 정보에 대한 인간의 이해와 현재 AI 시스템이 할 수 있는 것 사이의 이러한 격차를 좁히려고 시도합니다. 시리즈를 통해 우리는 우리의 접근 방식이 다른 언어 모델에 쉽게 적응할 수 있고 형식(예: QA 또는 NLI) 및 도메인(예: 윤리적 결정 또는 비유적 언어 이해)에서 작업에 구애받지 않는다는 것을 입증할 수 있었습니다. 이러한 결과는 새로운 문제를 더 잘 해결하기 위해 장면 정교화를 더욱 개선하고 활용할 수 있는 흥미로운 기회를 제안합니다.

다음 단계

우리는 DREAM 시리즈가 보다 일관되고 일관된 "정신적 모델"을 갖춘 AI 시스템으로의 발전에 박차를 가하여 이러한 시스템을 인간 수준의 추론 능력에 한 단계 더 가까이 가져가길 바랍니다.

DREAM은 중요한 첫 단계이지만 더 많은 작업이 필요합니다. DREAM의 장면 정교화조차도 완벽하지 않습니다. 정확하고 일관되며 유용한 "멘탈 모델"을 구축하는 것이 향후 작업의 유망한 방향이 될 것입니다.

사람은 "사나운 늑대"가 "조용하고 편안하지" 않을 것이라고 확신할 수 있지만, 최고의 AI 모델조차도 그러한 능력을 일관되게 보여주지 않습니다. 우리는 다른 연구자들이 우리 작업을 기반으로 이러한 "정신적 모델"의 구조와 품질을 개선하고 AI 시스템이 더 나은 성능을 발휘하도록 돕는 데 이러한 모델의 사용을 탐구하도록 권장합니다.

자세한 내용은 "Just-DREAM-about-it: DREAM-FLUTE를 사용한 비유적 언어 이해" 논문을 참조하십시오.

트위터에서 @ai2_allennlp 및 @allen_ai 를 팔로우 하고 AI2 뉴스레터 를 구독하여 AI2에서 나오는 뉴스 및 연구에 대한 최신 소식을 전하세요.