NLP - Begriffsklärung
Wir verstehen, dass Wörter je nach dem Kontext ihrer Verwendung im Satz unterschiedliche Bedeutungen haben. Wenn wir über menschliche Sprachen sprechen, sind sie auch mehrdeutig, da viele Wörter je nach Kontext ihres Auftretens auf verschiedene Arten interpretiert werden können.
Die Wortsinn-Disambiguierung in der Verarbeitung natürlicher Sprache (NLP) kann als die Fähigkeit definiert werden, zu bestimmen, welche Bedeutung des Wortes durch die Verwendung von Wörtern in einem bestimmten Kontext aktiviert wird. Lexikalische Mehrdeutigkeit, syntaktisch oder semantisch, ist eines der allerersten Probleme, mit denen ein NLP-System konfrontiert ist. POS-Tagger (Part-of-Speech) mit hoher Genauigkeit können die syntaktische Mehrdeutigkeit von Word lösen. Andererseits wird das Problem der Auflösung semantischer Ambiguität als WSD (Wortsinn-Disambiguierung) bezeichnet. Das Auflösen semantischer Mehrdeutigkeiten ist schwieriger als das Auflösen syntaktischer Mehrdeutigkeiten.
Betrachten Sie zum Beispiel die beiden Beispiele für den unterschiedlichen Sinn, der für das Wort existiert “bass” - -
Ich kann Bass hören.
Er isst gerne gegrillten Bass.
Das Auftreten des Wortes bassbezeichnet deutlich die eindeutige Bedeutung. Im ersten Satz bedeutet esfrequency und zweitens bedeutet es fish. Wenn es daher durch WSD eindeutig wäre, kann den obigen Sätzen die richtige Bedeutung wie folgt zugewiesen werden:
Ich kann Bass- / Frequenzgeräusche hören.
Er isst gerne gegrillten Bass / Fisch.
Bewertung von WSD
Die Auswertung von WSD erfordert die folgenden zwei Eingaben:
Ein Wörterbuch
Die allererste Eingabe für die Bewertung von WSD ist das Wörterbuch, mit dem die zu unterscheidenden Sinne angegeben werden.
Test Corpus
Eine weitere Eingabe, die von WSD benötigt wird, ist der hoch kommentierte Testkorpus, der das Ziel oder die richtigen Sinne hat. Die Testkorpora können von zwei Arten sein & minsu;
Lexical sample - Diese Art von Korpora wird im System verwendet, wo es erforderlich ist, eine kleine Stichprobe von Wörtern zu disambiguieren.
All-words - Diese Art von Korpora wird im System verwendet, wo erwartet wird, dass alle Wörter in einem laufenden Text eindeutig sind.
Ansätze und Methoden zur Disambiguierung des Wortsinns (WSD)
Ansätze und Methoden für WSD werden nach der Wissensquelle klassifiziert, die bei der Begriffsklärung verwendet wird.
Lassen Sie uns nun die vier konventionellen Methoden für WSD sehen -
Wörterbuchbasierte oder wissensbasierte Methoden
Wie der Name schon sagt, stützen sich diese Methoden zur Begriffsklärung hauptsächlich auf Wörterbücher, Schätze und eine lexikalische Wissensbasis. Sie verwenden keine Korpora-Beweise zur Begriffsklärung. Die Lesk-Methode ist die wegweisende wörterbuchbasierte Methode, die 1986 von Michael Lesk eingeführt wurde. Die Lesk-Definition, auf der der Lesk-Algorithmus basiert, ist“measure overlap between sense definitions for all words in context”. Im Jahr 2000 gaben Kilgarriff und Rosensweig jedoch die vereinfachte Lesk-Definition als“measure overlap between sense definitions of word and current context”Dies bedeutet ferner, den richtigen Sinn für jeweils ein Wort zu identifizieren. Hier ist der aktuelle Kontext die Menge der Wörter im umgebenden Satz oder Absatz.
Überwachte Methoden
Zur Disambiguierung verwenden maschinelle Lernmethoden sinnlich kommentierte Korpora zum Trainieren. Diese Methoden setzen voraus, dass der Kontext allein genügend Beweise liefern kann, um den Sinn zu disambiguieren. Bei diesen Methoden werden die Wörter Wissen und Argumentation als unnötig erachtet. Der Kontext wird als eine Reihe von „Merkmalen“ der Wörter dargestellt. Es enthält auch die Informationen zu den umgebenden Wörtern. Support Vector Machine und Memory Based Learning sind die erfolgreichsten überwachten Lernansätze für WSD. Diese Methoden beruhen auf einer beträchtlichen Menge von manuell mit Sinnesmarkierungen versehenen Korpora, deren Erstellung sehr teuer ist.
Halbüberwachte Methoden
Aufgrund des Mangels an Trainingskorpus verwenden die meisten Algorithmen zur Disambiguierung des Wortsinns halbüberwachte Lernmethoden. Dies liegt daran, dass halbüberwachte Methoden sowohl gekennzeichnete als auch nicht gekennzeichnete Daten verwenden. Diese Methoden erfordern eine sehr kleine Menge an kommentiertem Text und eine große Menge an einfachem, nicht kommentiertem Text. Die Technik, die von halbüberwachten Methoden verwendet wird, ist das Bootstrapping von Seed-Daten.
Unüberwachte Methoden
Diese Methoden setzen voraus, dass ähnliche Sinne in einem ähnlichen Kontext auftreten. Aus diesem Grund können die Sinne aus dem Text induziert werden, indem Wortvorkommen unter Verwendung eines gewissen Maßes für die Ähnlichkeit des Kontexts gruppiert werden. Diese Aufgabe wird als Wortsinninduktion oder Diskriminierung bezeichnet. Unüberwachte Methoden haben ein großes Potenzial, um den Engpass beim Wissenserwerb zu überwinden, da sie nicht von manuellen Anstrengungen abhängig sind.
Anwendungen der Word Sense Disambiguation (WSD)
Die Wortsinn-Disambiguierung (WSD) wird in fast jeder Anwendung der Sprachtechnologie angewendet.
Lassen Sie uns nun den Umfang von WSD sehen -
Maschinenübersetzung
Maschinelle Übersetzung oder MT ist die offensichtlichste Anwendung von WSD. In MT wird die lexikalische Auswahl für die Wörter, die unterschiedliche Übersetzungen für unterschiedliche Sinne haben, von WSD vorgenommen. Die Sinne in MT werden als Wörter in der Zielsprache dargestellt. Die meisten maschinellen Übersetzungssysteme verwenden kein explizites WSD-Modul.
Information Retrieval (IR)
Information Retrieval (IR) kann als Softwareprogramm definiert werden, das sich mit der Organisation, Speicherung, dem Abruf und der Auswertung von Informationen aus Dokumentenspeichern, insbesondere Textinformationen, befasst. Das System unterstützt Benutzer grundsätzlich beim Auffinden der benötigten Informationen, gibt jedoch die Antworten auf die Fragen nicht explizit zurück. WSD wird verwendet, um die Mehrdeutigkeiten der dem IR-System bereitgestellten Abfragen aufzulösen. Wie bei MT verwenden aktuelle IR-Systeme das WSD-Modul nicht explizit und basieren auf dem Konzept, dass der Benutzer genügend Kontext in die Abfrage eingibt, um nur relevante Dokumente abzurufen.
Text Mining und Informationsextraktion (IE)
In den meisten Anwendungen ist WSD erforderlich, um eine genaue Textanalyse durchzuführen. Beispielsweise hilft WSD dem intelligenten Sammelsystem, die richtigen Wörter zu kennzeichnen. Zum Beispiel könnte ein medizinisch-intelligentes System die Kennzeichnung von „illegalen Drogen“ anstelle von „medizinischen Drogen“ erfordern.
Lexikographie
WSD und Lexikographie können in einer Schleife zusammenarbeiten, da die moderne Lexikographie korpusbasiert ist. Mit der Lexikographie bietet WSD grobe empirische Sinnesgruppierungen sowie statistisch signifikante kontextbezogene Sinnesindikatoren.
Schwierigkeiten bei der Disambiguierung des Wortsinns (WSD)
Es folgen einige Schwierigkeiten, mit denen die Wortsinn-Disambiguierung (WSD) konfrontiert ist -
Unterschiede zwischen Wörterbüchern
Das Hauptproblem von WSD besteht darin, den Sinn des Wortes zu bestimmen, da verschiedene Sinne sehr eng miteinander verbunden sein können. Sogar verschiedene Wörterbücher und Thesauren können unterschiedliche Wortunterteilungen in Sinne ermöglichen.
Unterschiedliche Algorithmen für unterschiedliche Anwendungen
Ein weiteres Problem von WSD besteht darin, dass für verschiedene Anwendungen möglicherweise völlig unterschiedliche Algorithmen erforderlich sind. Bei der maschinellen Übersetzung erfolgt dies beispielsweise in Form einer Zielwortauswahl. und beim Abrufen von Informationen ist kein Sinnesinventar erforderlich.
Varianz zwischen Richtern
Ein weiteres Problem von WSD besteht darin, dass WSD-Systeme im Allgemeinen getestet werden, indem ihre Ergebnisse für eine Aufgabe mit der Aufgabe von Menschen verglichen werden. Dies wird als Problem der Interjudge-Varianz bezeichnet.
Wortsinndiskretion
Eine weitere Schwierigkeit bei WSD besteht darin, dass Wörter nicht einfach in diskrete Bedeutungen unterteilt werden können.