자연어 담화 처리
인공 지능의 가장 어려운 문제는 컴퓨터 로 자연어를 처리하는 것, 즉 자연어 처리 가 인공 지능의 가장 어려운 문제입니다. NLP의 주요 문제에 대해 이야기하면 NLP의 주요 문제 중 하나는 담화 처리입니다. 발화가 어떻게 결합하여 형성되는지에 대한 이론과 모델을 구축하는 것입니다.coherent discourse. 사실, 언어는 영화와 같이 분리되고 관련이없는 문장보다는 항상 배치되고 구조화되고 일관된 문장 그룹으로 구성됩니다. 이러한 일관된 문장 그룹을 담화라고합니다.
일관성의 개념
일관성과 담화 구조는 여러 방식으로 상호 연결되어 있습니다. 좋은 텍스트의 속성과 함께 일관성은 자연어 생성 시스템의 출력 품질을 평가하는 데 사용됩니다. 여기서 제기되는 질문은 텍스트가 일관 적이라는 것이 무엇을 의미합니까? 우리가 신문의 모든 페이지에서 한 문장을 모았다고 가정하면 그것이 담론이 될까요? 당연히 아니지. 이 문장들이 일관성을 나타내지 않기 때문입니다. 일관된 담론은 다음과 같은 속성을 가져야합니다.
발화 간의 일관성 관계
발화 사이에 의미있는 연결이 있다면 담론은 일관성이있을 것입니다. 이 속성을 일관성 관계라고합니다. 예를 들어, 발화 간의 연결을 정당화하기 위해 일종의 설명이 있어야합니다.
엔티티 간의 관계
담론을 일관되게 만드는 또 다른 속성은 개체와 특정 종류의 관계가 있어야한다는 것입니다. 이러한 종류의 일관성을 엔티티 기반 일관성이라고합니다.
담화 구조
담화에 관한 중요한 질문은 담론이 어떤 구조를 가져야 하는가입니다. 이 질문에 대한 답은 우리가 담화에 적용한 세분화에 달려 있습니다. 담화 분할은 대규모 담화의 구조 유형을 결정하는 것으로 정의 될 수 있습니다. 담화 분할을 구현하는 것은 매우 어렵지만information retrieval, text summarization and information extraction 응용 프로그램의 종류.
담화 분할을위한 알고리즘
이 섹션에서는 담화 분할을위한 알고리즘에 대해 학습합니다. 알고리즘은 아래에 설명되어 있습니다.
감독되지 않은 담화 분할
감독되지 않은 담화 분할의 클래스는 종종 선형 분할로 표현됩니다. 예를 들어 선형 분할 작업을 이해할 수 있습니다. 이 예에서는 텍스트를 여러 단락 단위로 분할하는 작업이 있습니다. 단위는 원본 텍스트의 구절을 나타냅니다. 이러한 알고리즘은 텍스트 단위를 함께 묶기 위해 특정 언어 장치를 사용하는 것으로 정의 될 수있는 응집력에 의존합니다. 반면에 어휘 집합은 동의어의 사용과 같이 두 단위로 된 둘 이상의 단어 사이의 관계로 표시되는 응집력입니다.
감독 된 담화 분할
이전 방법에는 손으로 레이블이 지정된 세그먼트 경계가 없습니다. 반면에지도 담화 분할에는 경계 레이블이 지정된 훈련 데이터가 있어야합니다. 같은 것을 얻는 것은 매우 쉽습니다. 지도 담화 분할에서 담화 마커 또는 단서가 중요한 역할을합니다. 담화 마커 또는 단서 단어는 담화 구조를 신호하는 기능을하는 단어 또는 구입니다. 이러한 담론 마커는 도메인별로 다릅니다.
텍스트 일관성
어휘 반복은 담화의 구조를 찾는 방법이지만 일관된 담화의 요구 사항을 충족하지 못합니다. 일관된 담론을 이루기 위해서는 구체적으로 일관된 관계에 초점을 맞춰야합니다. 일관성 관계는 담론에서 발화 간의 가능한 연결을 정의한다는 것을 알고 있습니다. Hebb는 다음과 같은 종류의 관계를 제안했습니다.
우리는 두 학기를 취하고 있습니다 S0 과 S1 관련된 두 문장의 의미를 나타냅니다.
결과
용어에 의해 주장 된 국가를 추론 S0 에 의해 주장 된 상태를 유발할 수 있습니다. S1. 예를 들어, 두 개의 문은 관계 결과를 보여줍니다. Ram이 불에 탔습니다. 그의 피부는 타 버렸다.
설명
그것은 국가가 주장하는 것으로 추론합니다. S1 에 의해 주장 된 상태를 유발할 수 있습니다. S0. 예를 들어, 두 문장은 관계를 보여줍니다. Ram은 Shyam의 친구와 싸웠습니다. 그는 취했다.
평행
다음의 주장에서 p (a1, a2,…)를 유추합니다. S0 어설 션의 p (b1, b2,…) S1. 여기서 ai와 bi는 모든 i에 대해 유사합니다. 예를 들어, 두 문장은 평행합니다-Ram wanted car. Shyam은 돈을 원했습니다.
동화
두 주장에서 동일한 명제 P를 추론합니다. S0 과 S1예를 들어, 두 문장은 관계 정교화를 보여줍니다 : Ram은 Chandigarh 출신입니다. Shyam은 Kerala 출신입니다.
기회
다음의 주장으로부터 상태의 변화가 유추 될 수있을 때 발생합니다. S0, 최종 상태를 추론 할 수 있습니다. S1그 반대. 예를 들어, 두 문장은 관계 상황을 보여줍니다. Ram이 책을 집어 들었습니다. 그는 그것을 Shyam에게 주었다.
계층 적 담론 구조 구축
전체 담론의 일관성은 일관성 관계 간의 계층 적 구조로도 고려할 수 있습니다. 예를 들어, 다음 구절은 계층 구조로 나타낼 수 있습니다.
S1 -Ram은 돈을 입금하기 위해 은행에갔습니다.
S2 -그는 기차를 타고 Shyam의 옷가게로갔습니다.
S3 − 그는 옷을 사고 싶었습니다.
S4 − 그는 파티를위한 새 옷이 없습니다.
S5 − 그는 또한 자신의 건강에 대해 Shyam과 이야기하고 싶었습니다.
참조 해상도
모든 담론에서 문장을 해석하는 것은 또 다른 중요한 작업이며이를 달성하기 위해 우리는 누가 또는 어떤 독립 체에 대해 이야기하고 있는지 알아야합니다. 여기서 해석 참조가 핵심 요소입니다.Reference엔티티 또는 개인을 나타내는 언어 적 표현으로 정의 될 수 있습니다. 예를 들어, 구절에서, 램 , ABC 은행의 매니저 ,보고 자신의 가게에서 친구 시암을. 그는 그를 만나러 갔는데, Ram, His, He와 같은 언어 적 표현은 참조입니다.
같은 메모에서 reference resolution 어떤 엔티티가 어떤 언어 적 표현에 의해 참조되는지 결정하는 작업으로 정의 될 수 있습니다.
참조 확인에 사용되는 용어
우리는 참조 해상도에서 다음 용어를 사용합니다.
Referring expression− 참조를 수행하는 데 사용되는 자연어 표현을 참조 표현이라고합니다. 예를 들어, 위에서 사용 된 구절은 참조 표현입니다.
Referent− 참조되는 엔티티입니다. 예를 들어, 마지막 주어진 예에서 Ram은 참조 대상입니다.
Corefer− 동일한 엔티티를 참조하기 위해 두 개의 표현식이 사용되는 경우이를 코어 퍼라고합니다. 예를 들면Ram 과 he corefers입니다.
Antecedent−이 기간에는 다른 기간을 사용할 수있는 라이선스가 있습니다. 예를 들면Ram 참조의 선행입니다. he.
Anaphora & Anaphoric− 이전에 문장에 도입 된 개체에 대한 참조로 정의 할 수 있습니다. 그리고 참조하는 표현을 anaphoric이라고합니다.
Discourse model − 담론에서 언급 된 개체의 표현과 그들이 관여하는 관계를 포함하는 모델.
참조 식의 유형
이제 다양한 유형의 참조 표현식을 살펴 보겠습니다. 다섯 가지 유형의 참조 표현식이 아래에 설명되어 있습니다.
비 한정 명사구
이러한 종류의 참조는 담화 맥락에서 청중에게 새로운 실체를 나타냅니다. 예를 들어-Ram이 음식을 가져 오기 위해 하루를 돌았다는 문장에서-일부는 무기한 참조입니다.
명확한 명사구
위와는 반대로, 그러한 종류의 언급은 담화 맥락에서 듣는 사람이 새롭지 않거나 식별 할 수없는 실체를 나타냅니다. 예를 들어, 문장에서-I used to read The Times of India – The Times of India는 확실한 참조입니다.
대명사
이것은 명확한 참조의 한 형태입니다. 예를 들어, Ram은 최대한 크게 웃었습니다. 단어he 대명사 참조 표현을 나타냅니다.
데모
이것들은 단순한 명확한 대명사와는 다르게 설명하고 행동합니다. 예를 들어, 이것과 저것은 시범 대명사입니다.
이름
가장 단순한 유형의 참조 표현입니다. 사람, 조직 및 위치의 이름 일 수도 있습니다. 예를 들어 위의 예에서 Ram은 이름 참조 식입니다.
참조 해결 작업
두 가지 참조 해결 작업이 아래에 설명되어 있습니다.
상호 참조 해상도
동일한 개체를 참조하는 텍스트에서 참조 표현을 찾는 작업입니다. 간단히 말해서 corefer 표현식을 찾는 작업입니다. 일련의 코어 퍼링 표현식을 상호 참조 체인이라고합니다. 예를 들어-He, Chief Manager 및 His-이들은 예제로 주어진 첫 번째 구절의 표현을 참조합니다.
상호 참조 해결에 대한 제약
영어에서 상호 참조 해결의 주요 문제는 대명사 it입니다. 그 이유는 대명사가 많은 용도로 사용되기 때문입니다. 예를 들어, 그와 그녀와 매우 흡사합니다. 대명사는 또한 특정 사물을 언급하지 않는 사물을 나타냅니다. 예를 들어 비가옵니다. 정말 맛있어요.
대명사 아나 포라 해상도
상호 참조 해결과 달리 대명사 아나 포라 해결은 단일 대명사에 대한 선행을 찾는 작업으로 정의 될 수 있습니다. 예를 들어, 대명사는 그의 것이고 대명사 anaphora 해결의 임무는 Ram이 선행이기 때문에 Ram이라는 단어를 찾는 것입니다.