KI mit Python - Verarbeitung natürlicher Sprache
Natural Language Processing (NLP) bezeichnet eine KI-Methode zur Kommunikation mit intelligenten Systemen unter Verwendung einer natürlichen Sprache wie Englisch.
Die Verarbeitung der natürlichen Sprache ist erforderlich, wenn ein intelligentes System wie ein Roboter gemäß Ihren Anweisungen ausgeführt werden soll, wenn Sie die Entscheidung eines dialogbasierten klinischen Expertensystems usw. hören möchten.
Im Bereich NLP müssen Computer nützliche Aufgaben mit den natürlichen Sprachen ausführen, die Menschen verwenden. Die Ein- und Ausgabe eines NLP-Systems kann sein -
- Speech
- Geschriebener Text
Komponenten von NLP
In diesem Abschnitt lernen wir die verschiedenen Komponenten von NLP kennen. Es gibt zwei Komponenten von NLP. Die Komponenten werden nachfolgend beschrieben -
Natural Language Understanding (NLU)
Es beinhaltet die folgenden Aufgaben -
Abbildung der angegebenen Eingabe in natürlicher Sprache in nützliche Darstellungen.
Analyse verschiedener Aspekte der Sprache.
Erzeugung natürlicher Sprache (NLG)
Es ist der Prozess, aus einer internen Repräsentation aussagekräftige Phrasen und Sätze in Form einer natürlichen Sprache zu erzeugen. Es beinhaltet -
Text planning - Dies beinhaltet das Abrufen der relevanten Inhalte aus der Wissensdatenbank.
Sentence planning - Dazu gehört die Auswahl der erforderlichen Wörter, die Bildung aussagekräftiger Phrasen und die Festlegung des Satztons.
Text Realization - Dies ordnet den Satzplan der Satzstruktur zu.
Schwierigkeiten in der NLU
Die NLU ist sehr reich an Form und Struktur; es ist jedoch nicht eindeutig. Es kann verschiedene Mehrdeutigkeitsebenen geben -
Lexikalische Mehrdeutigkeit
Es ist auf einer sehr primitiven Ebene wie der Wortebene. Zum Beispiel das Wort "Brett" als Substantiv oder Verb behandeln?
Mehrdeutigkeit auf Syntaxebene
Ein Satz kann auf verschiedene Arten analysiert werden. Zum Beispiel: "Er hat den Käfer mit der roten Kappe angehoben." - Hat er den Käfer mit einer Kappe angehoben oder hat er einen Käfer mit roter Kappe angehoben?
Referenzielle Mehrdeutigkeit
Mit Pronomen auf etwas verweisen. Zum Beispiel ging Rima nach Gauri. Sie sagte: "Ich bin müde." - Genau wer ist müde?
NLP-Terminologie
Lassen Sie uns nun einige wichtige Begriffe in der NLP-Terminologie sehen.
Phonology - Es geht darum, Schall systematisch zu organisieren.
Morphology - Es ist eine Studie über die Konstruktion von Wörtern aus primitiven bedeutungsvollen Einheiten.
Morpheme - Es ist eine primitive Bedeutungseinheit in einer Sprache.
Syntax- Es bezieht sich auf das Anordnen von Wörtern, um einen Satz zu bilden. Dazu gehört auch die Bestimmung der strukturellen Rolle von Wörtern im Satz und in Phrasen.
Semantics - Es geht um die Bedeutung von Wörtern und darum, wie Wörter zu aussagekräftigen Phrasen und Sätzen kombiniert werden können.
Pragmatics - Es geht darum, Sätze in verschiedenen Situationen zu verwenden und zu verstehen und wie die Interpretation des Satzes beeinflusst wird.
Discourse - Es geht darum, wie der unmittelbar vorhergehende Satz die Interpretation des nächsten Satzes beeinflussen kann.
World Knowledge - Es beinhaltet das allgemeine Wissen über die Welt.
Schritte in NLP
Dieser Abschnitt zeigt die verschiedenen Schritte in NLP.
Lexikalische Analyse
Es beinhaltet die Identifizierung und Analyse der Struktur von Wörtern. Lexikon einer Sprache bedeutet die Sammlung von Wörtern und Phrasen in einer Sprache. Die lexikalische Analyse unterteilt den gesamten Teil von txt in Absätze, Sätze und Wörter.
Syntaktische Analyse (Parsing)
Es beinhaltet die Analyse von Wörtern im Satz für die Grammatik und das Anordnen von Wörtern in einer Weise, die die Beziehung zwischen den Wörtern zeigt. Der Satz wie "Die Schule geht an den Jungen" wird vom englischen syntaktischen Analysator abgelehnt.
Semantische Analyse
Es bezieht die genaue Bedeutung oder die Wörterbuchbedeutung aus dem Text. Der Text wird auf Aussagekraft geprüft. Dazu werden syntaktische Strukturen und Objekte in der Aufgabendomäne zugeordnet. Der semantische Analysator ignoriert Sätze wie „heißes Eis“.
Diskursintegration
Die Bedeutung eines Satzes hängt von der Bedeutung des Satzes unmittelbar davor ab. Darüber hinaus bewirkt es auch die Bedeutung eines unmittelbar folgenden Satzes.
Pragmatische Analyse
Währenddessen wird das Gesagte dahingehend neu interpretiert, was es tatsächlich bedeutete. Es geht darum, jene Aspekte der Sprache abzuleiten, die Kenntnisse der realen Welt erfordern.