Hiểu khái quát của vấn đề NER

Question

Nhận dạng thực thể được đặt tên (NER) là một vấn đề nổi tiếng trong tài liệu NLP.

Nó thường giải quyết vấn đề để xác định vị trí và phân loại các thực thể được đặt tên trong văn bản, ví dụ Organizationsvà Products.

Tôi đang cố gắng giải quyết một vấn đề tương tự nhưng theo quan điểm của tôi, tổng quát hơn một chút. Với một văn bản đầu vào, tôi muốn có thể chú thích toàn diện toàn bộ văn bản; không chỉ các thực thể cụ thể như Actorsvà Organizationsmà cả các khái niệm cấp cao hơn như Conditions of Applicabilityvà Temporal Conditions, ví dụ:

Khó khăn bổ sung là chúng tôi có các "thực thể" lồng nhau, ví dụ: (từ phía trên):

<denotic> must, <temporal> within the specified period </temporal>, notify ... </deontic>

Điều này vẫn có thể được xây dựng như một vấn đề NER? Nếu vậy, loại mô hình tốt nhất để giải quyết công việc này là gì, giả sử một tập dữ liệu có ~ 50 K ví dụ?

Answer 1

Vấn đề được mô tả không phải là một phiên bản tổng quát hơn của Nhận dạng đối tượng được đặt tên, nó là một vấn đề khác được gọi là phân tích cú pháp . Phân tích cú pháp bao gồm việc trích xuất cấu trúc cú pháp của một văn bản, thường nhằm mục đích nắm bắt tốt hơn ngữ nghĩa của nó. Có nhiều cách tiếp cận khác nhau:

• Phân tích cú pháp nông chỉ xác định các thành phần của câu (dựa trên ví dụ của bạn, điều này có thể đủ trong trường hợp của bạn)
• Phân tích cú pháp thống kê và đặc biệt là phân tích cú pháp Phụ thuộc đại diện cho cấu trúc đầy đủ của câu, bao gồm các liên kết giữa các thành phần của nó.

Có nhiều thư viện và tập dữ liệu khác nhau để phân tích cú pháp: một trong những thư viện nổi tiếng nhất có lẽ là trình phân tích cú pháp Stanford , nhưng có nhiều thư viện khác thường được đưa vào bộ công cụ NLP như OpenNLP . Các phổ Dependencies dự án là một tập hợp đa ngôn ngữ khổng lồ của văn bản chú thích mà có thể được sử dụng để đào tạo phân tích cú pháp.

Ghi nhãn vai trò ngữ nghĩa (SRL) là một nhiệm vụ liên quan chặt chẽ bao gồm việc xác định các mối quan hệ ngữ nghĩa giữa một vị ngữ (động từ) và các thành phần liên quan của nó (ví dụ: chủ ngữ, tân ngữ).