NLP - Nhận biết từ ngữ
Chúng tôi hiểu rằng các từ có ý nghĩa khác nhau dựa trên ngữ cảnh sử dụng nó trong câu. Nếu chúng ta nói về ngôn ngữ của con người, thì chúng cũng mơ hồ bởi vì nhiều từ có thể được giải thích theo nhiều cách tùy thuộc vào ngữ cảnh xuất hiện của chúng.
Phân biệt ý nghĩa từ, trong xử lý ngôn ngữ tự nhiên (NLP), có thể được định nghĩa là khả năng xác định nghĩa nào của từ được kích hoạt bằng cách sử dụng từ trong một ngữ cảnh cụ thể. Sự mơ hồ về từ vựng, cú pháp hoặc ngữ nghĩa, là một trong những vấn đề đầu tiên mà bất kỳ hệ thống NLP nào phải đối mặt. Trình gắn thẻ Part-of-speech (POS) với mức độ chính xác cao có thể giải quyết tình trạng mơ hồ về cú pháp của Word. Mặt khác, vấn đề giải quyết sự mơ hồ về ngữ nghĩa được gọi là WSD (phân loại ý nghĩa từ). Giải quyết sự mơ hồ về ngữ nghĩa khó hơn giải quyết được sự mơ hồ về cú pháp.
Ví dụ, hãy xem xét hai ví dụ về nghĩa khác biệt tồn tại cho từ “bass” -
Tôi có thể nghe thấy âm thanh trầm.
Anh ấy thích ăn cá vược nướng.
Sự xuất hiện của từ bassbiểu thị rõ ràng ý nghĩa riêng biệt. Trong câu đầu tiên, nó có nghĩa làfrequency và thứ hai, nó có nghĩa là fish. Do đó, nếu nó được WSD phân biệt thì nghĩa đúng cho các câu trên có thể được gán như sau:
Tôi có thể nghe thấy âm trầm / tần số.
Anh ấy thích ăn cá vược / cá nướng.
Đánh giá WSD
Việc đánh giá WSD yêu cầu hai đầu vào sau:
Một cuốn từ điển
Đầu vào đầu tiên để đánh giá WSD là từ điển, được sử dụng để chỉ định các giác quan cần phân loại.
Kiểm tra Corpus
Một đầu vào khác theo yêu cầu của WSD là kho dữ liệu kiểm tra được chú thích cao có mục tiêu hoặc giác quan chính xác. Kho tài liệu kiểm tra có thể có hai loại & minsu;
Lexical sample - Loại ngữ liệu này được sử dụng trong hệ thống, nơi nó được yêu cầu phân biệt một mẫu từ nhỏ.
All-words - Loại kho ngữ liệu này được sử dụng trong hệ thống, nơi nó dự kiến sẽ phân biệt tất cả các từ trong một đoạn văn bản đang chạy.
Các cách tiếp cận và phương pháp để định vị từ giác (WSD)
Các cách tiếp cận và phương pháp đối với WSD được phân loại theo nguồn kiến thức được sử dụng trong việc phân định từ.
Bây giờ chúng ta hãy xem bốn phương pháp thông thường để WSD -
Phương pháp dựa trên từ điển hoặc dựa trên tri thức
Như tên cho thấy, để định hướng, các phương pháp này chủ yếu dựa vào từ điển, kho tàng và cơ sở kiến thức từ vựng. Họ không sử dụng bằng chứng ngữ liệu để phân định. Phương pháp Lesk là phương pháp dựa trên từ điển được giới thiệu bởi Michael Lesk vào năm 1986. Định nghĩa Lesk, dựa trên thuật toán Lesk là“measure overlap between sense definitions for all words in context”. Tuy nhiên, vào năm 2000, Kilgarriff và Rosensweig đã đưa ra định nghĩa Lesk đơn giản là“measure overlap between sense definitions of word and current context”, hơn nữa có nghĩa là xác định nghĩa chính xác cho từng từ một. Ở đây ngữ cảnh hiện tại là tập hợp các từ trong câu hoặc đoạn văn xung quanh.
Phương pháp được giám sát
Đối với định hướng, các phương pháp học máy sử dụng kho ngữ liệu có chú thích hợp lý để đào tạo. Các phương pháp này giả định rằng ngữ cảnh có thể tự cung cấp đủ bằng chứng để phân biệt ý nghĩa. Trong các phương pháp này, các từ kiến thức và lý luận được coi là không cần thiết. Ngữ cảnh được biểu diễn dưới dạng một tập hợp các "đặc điểm" của các từ. Nó cũng bao gồm thông tin về các từ xung quanh. Máy vector hỗ trợ và học tập dựa trên bộ nhớ là các phương pháp học tập có giám sát thành công nhất đối với WSD. Những phương pháp này dựa vào một lượng đáng kể kho ngữ liệu được gắn thẻ theo cách thủ công, rất tốn kém để tạo.
Phương pháp bán giám sát
Do thiếu kho ngữ liệu đào tạo, hầu hết các thuật toán phân định nghĩa của từ sử dụng phương pháp học bán giám sát. Đó là bởi vì các phương pháp bán giám sát sử dụng cả dữ liệu được gắn nhãn cũng như không được gắn nhãn. Các phương pháp này yêu cầu một lượng rất nhỏ văn bản có chú thích và một lượng lớn văn bản thuần túy không có chú thích. Kỹ thuật được sử dụng bởi các phương pháp bán giám sát là khởi động từ dữ liệu hạt giống.
Phương thức không được giám sát
Các phương pháp này giả định rằng các giác quan tương tự xảy ra trong bối cảnh tương tự. Đó là lý do tại sao các giác quan có thể được tạo ra từ văn bản bằng cách nhóm các lần xuất hiện từ bằng cách sử dụng một số biện pháp về sự tương đồng của ngữ cảnh. Nhiệm vụ này được gọi là cảm ứng từ hoặc phân biệt từ. Các phương pháp không được giám sát có tiềm năng lớn để khắc phục nút thắt tiếp thu kiến thức do không phụ thuộc vào các nỗ lực thủ công.
Các ứng dụng của Word Sense Disambiguation (WSD)
Phân biệt ý nghĩa từ (WSD) được áp dụng trong hầu hết các ứng dụng của công nghệ ngôn ngữ.
Bây giờ chúng ta hãy xem phạm vi của WSD -
Dịch máy
Dịch máy hoặc MT là ứng dụng rõ ràng nhất của WSD. Trong MT, lựa chọn Lexical cho các từ có cách dịch riêng biệt cho các nghĩa khác nhau, được thực hiện bởi WSD. Các giác quan trong MT được biểu diễn dưới dạng các từ trong ngôn ngữ đích. Hầu hết các hệ thống dịch máy không sử dụng mô-đun WSD rõ ràng.
Truy xuất thông tin (IR)
Truy xuất thông tin (IR) có thể được định nghĩa là một chương trình phần mềm liên quan đến việc tổ chức, lưu trữ, truy xuất và đánh giá thông tin từ các kho tài liệu, đặc biệt là thông tin dạng văn bản. Về cơ bản, hệ thống hỗ trợ người dùng tìm kiếm thông tin họ yêu cầu nhưng nó không trả về câu trả lời của các câu hỏi một cách rõ ràng. WSD được sử dụng để giải quyết sự không rõ ràng của các truy vấn được cung cấp cho hệ thống IR. Giống như MT, các hệ thống IR hiện tại không sử dụng mô-đun WSD một cách rõ ràng và chúng dựa vào khái niệm rằng người dùng sẽ nhập đủ ngữ cảnh trong truy vấn để chỉ truy xuất các tài liệu có liên quan.
Khai thác văn bản và trích xuất thông tin (IE)
Trong hầu hết các ứng dụng, WSD là cần thiết để phân tích chính xác văn bản. Ví dụ, WSD giúp hệ thống thu thập thông minh thực hiện việc gắn cờ các từ đúng. Ví dụ: hệ thống thông minh y tế có thể cần gắn cờ "thuốc bất hợp pháp" thay vì "thuốc y tế"
Lexicography
WSD và từ vựng có thể làm việc cùng nhau theo vòng lặp vì từ vựng hiện đại dựa trên ngữ liệu. Với từ điển học, WSD cung cấp các nhóm cảm giác thực nghiệm thô cũng như các chỉ báo ngữ cảnh có ý nghĩa thống kê về cảm giác.
Khó khăn khi Định dạng Nhận biết Từ (WSD)
Tiếp theo là một số khó khăn khi phân định nghĩa từ (WSD) -
Sự khác biệt giữa các từ điển
Vấn đề chính của WSD là quyết định ý nghĩa của từ vì các giác quan khác nhau có thể liên quan rất chặt chẽ. Ngay cả các từ điển và từ điển khác nhau cũng có thể cung cấp các cách phân chia từ khác nhau thành các nghĩa.
Các thuật toán khác nhau cho các ứng dụng khác nhau
Một vấn đề khác của WSD là thuật toán hoàn toàn khác có thể cần thiết cho các ứng dụng khác nhau. Ví dụ, trong dịch máy, nó có dạng lựa chọn từ đích; và trong việc truy xuất thông tin, không cần phải kiểm kê cảm giác.
Phương sai giữa các thẩm phán
Một vấn đề khác của WSD là các hệ thống WSD thường được kiểm tra bằng cách lấy kết quả của chúng trong một nhiệm vụ so với nhiệm vụ của con người. Đây được gọi là vấn đề về phương sai đánh giá.
Sự rời rạc của cảm giác từ
Một khó khăn khác trong WSD là không thể dễ dàng chia các từ thành các phụ nghĩa rời rạc.