AI - przetwarzanie języka naturalnego

Przetwarzanie języka naturalnego (NLP) odnosi się do metody AI komunikacji z inteligentnymi systemami przy użyciu języka naturalnego, takiego jak angielski.

Przetwarzanie języka naturalnego jest wymagane, gdy chcesz, aby inteligentny system, taki jak robot, działał zgodnie z twoimi instrukcjami, gdy chcesz usłyszeć decyzję od opartego na dialogu klinicznego systemu eksperckiego itp.

Dziedzina NLP obejmuje tworzenie komputerów do wykonywania użytecznych zadań przy użyciu języków naturalnych, których używają ludzie. Wejście i wyjście systemu NLP może być -

• Speech
• Tekst pisany

Składniki NLP

Jak podano, istnieją dwa składniki NLP -

Rozumienie języka naturalnego (NLU)

Zrozumienie obejmuje następujące zadania -

• Odwzorowanie danych wejściowych w języku naturalnym na przydatne reprezentacje.
• Analiza różnych aspektów języka.

Generowanie języka naturalnego (NLG)

Jest to proces tworzenia znaczących fraz i zdań w formie języka naturalnego z jakiejś wewnętrznej reprezentacji.

Obejmuje -

• Text planning - Obejmuje pobieranie odpowiednich treści z bazy wiedzy.

• Sentence planning - Obejmuje wybieranie potrzebnych słów, tworzenie znaczących fraz, nadawanie tonowi zdania.

• Text Realization - To odwzorowanie planu zdań na strukturę zdań.

NLU jest trudniejsze niż NLG.

Trudności w NLU

NL ma niezwykle bogatą formę i strukturę.

Jest to bardzo niejednoznaczne. Mogą istnieć różne poziomy niejednoznaczności -

• Lexical ambiguity - Jest na bardzo prymitywnym poziomie, takim jak poziom słów.

• Na przykład traktując słowo „tablica” jako rzeczownik lub czasownik?

• Syntax Level ambiguity - Zdanie można analizować na różne sposoby.

• Na przykład: „Podniósł chrząszcza z czerwoną czapką”. - Czy użył czapki do podniesienia chrząszcza czy podniósł chrząszcza, który miał czerwoną czapkę?

• Referential ambiguity- Odwoływanie się do czegoś za pomocą zaimków. Na przykład Rima udał się do Gauri. Powiedziała: „Jestem zmęczona”. - A kto jest zmęczony?

• Jedno wejście może oznaczać różne znaczenia.

• Wiele danych wejściowych może oznaczać to samo.

Terminologia NLP

• Phonology - To nauka o systematycznym organizowaniu dźwięku.

• Morphology - Jest to studium konstrukcji słów z prymitywnych znaczących jednostek.

• Morpheme - To prymitywna jednostka znaczeniowa w języku.

• Syntax- Odnosi się do układania słów w zdanie. Obejmuje również określenie strukturalnej roli słów w zdaniu i frazach.

• Semantics - Dotyczy znaczenia słów i łączenia słów w sensowne wyrażenia i zdania.

• Pragmatics - Dotyczy używania i rozumienia zdań w różnych sytuacjach oraz wpływu na interpretację zdania.

• Discourse - Dotyczy tego, jak bezpośrednio poprzedzające zdanie może wpłynąć na interpretację następnego zdania.

• World Knowledge - Obejmuje ogólną wiedzę o świecie.

Kroki w NLP

Istnieje pięć ogólnych kroków -

• Lexical Analysis- Polega na identyfikacji i analizie struktury słów. Leksykon języka oznacza zbiór słów i zwrotów w języku. Analiza leksykalna polega na podzieleniu całego fragmentu tekstu na akapity, zdania i słowa.

• Syntactic Analysis (Parsing)- Polega na analizie słów w zdaniu pod kątem gramatyki i ułożeniu słów w sposób pokazujący związek między słowami. Zdanie typu „Szkoła idzie do chłopca” jest odrzucane przez angielski analizator syntaktyczny.

• Semantic Analysis- Rysuje dokładne znaczenie lub znaczenie słownika z tekstu. Tekst jest sprawdzany pod kątem znaczenia. Odbywa się to poprzez mapowanie struktur składniowych i obiektów w domenie zadań. Analizator semantyczny pomija zdania typu „gorące lody”.

• Discourse Integration- Znaczenie każdego zdania zależy od znaczenia zdania tuż przed nim. Ponadto powoduje również znaczenie następującego bezpośrednio po nim zdania.

• Pragmatic Analysis- W tym czasie to, co zostało powiedziane, zostaje ponownie zinterpretowane na podstawie tego, co w rzeczywistości oznaczało. Obejmuje wyprowadzenie tych aspektów języka, które wymagają znajomości świata rzeczywistego.

Implementacyjne aspekty analizy syntaktycznej

Istnieje wiele algorytmów opracowanych przez naukowców do analizy składniowej, ale rozważamy tylko następujące proste metody:

• Gramatyka bezkontekstowa
• Parser odgórny

Zobaczmy je szczegółowo -

Gramatyka bezkontekstowa

To gramatyka składa się z reguł z pojedynczym symbolem po lewej stronie reguł przepisywania. Stwórzmy gramatykę, aby przeanalizować zdanie -

„Ptak dziobie ziarna”

Articles (DET)- a | an | the

Nouns- ptak | ptaki | ziarno | ziarna

Noun Phrase (NP)- Artykuł + Rzeczownik | Przedimek + Przymiotnik + Rzeczownik

= DET N | DET ADJ N

Verbs- dziobaki | dziobanie | dziobał

Verb Phrase (VP)- NP V | V NP

Adjectives (ADJ)- piękny | mały | ćwierkanie

Drzewo parsowania dzieli zdanie na ustrukturyzowane części, dzięki czemu komputer może je łatwo zrozumieć i przetworzyć. Aby algorytm analizy składni mógł skonstruować to drzewo parsowania, należy skonstruować zestaw reguł przepisywania, które opisują, które struktury drzewa są legalne.

Reguły te mówią, że pewien symbol może być rozszerzony w drzewie przez sekwencję innych symboli. Zgodnie z regułą logiki pierwszego rzędu, jeśli istnieją dwa ciągi znaków Rzeczownik Fraza (NP) i Fraza czasownika (VP), to ciąg złożony z NP, po którym następuje VP, jest zdaniem. Zasady przepisywania tego zdania są następujące:

S → NP VP

NP → DET N | DET ADJ N

VP → V NP

Lexocon −

DET → a | the

ADJ → piękny | przysiadła

N → ptak | ptaki | ziarno | ziarna

V → dziobać | pecks | dziobanie

Drzewo parsowania można utworzyć, jak pokazano -

Rozważmy teraz powyższe zasady przepisywania. Ponieważ V można zastąpić zarówno „dziobaniem”, jak i „dziobaniem”, zdania takie jak „ptak dziobią ziarna” mogą być błędnie dozwolone. tj. błąd zgodności podmiotu z orzeczeniem jest uznawany za poprawny.

Merit - Najprostszy styl gramatyczny, stąd szeroko stosowany.

Demerits −

• Nie są zbyt precyzyjne. Na przykład „Ziarna dziobią ptaka” jest poprawne składniowo według parsera, ale nawet jeśli nie ma to sensu, parser traktuje to jako poprawne zdanie.

• Aby uzyskać wysoką precyzję, należy przygotować wiele zestawów gramatycznych. Może to wymagać zupełnie innych zestawów reguł analizowania odmian w liczbie pojedynczej i mnogiej, zdań biernych itp., Co może prowadzić do stworzenia ogromnego zestawu reguł, którymi nie można zarządzać.

Parser odgórny

Tutaj parser zaczyna od symbolu S i próbuje przepisać go na sekwencję symboli końcowych, która pasuje do klas słów w zdaniu wejściowym, aż składa się w całości z symboli terminala.

Są one następnie sprawdzane ze zdaniem wejściowym, aby sprawdzić, czy pasuje. Jeśli nie, proces jest rozpoczynany od nowa z innym zestawem reguł. Jest to powtarzane do momentu znalezienia określonej reguły opisującej strukturę zdania.

Merit - Jest prosty do wdrożenia.

Demerits −

• Jest to nieefektywne, ponieważ proces wyszukiwania musi zostać powtórzony, jeśli wystąpi błąd.
• Niska prędkość pracy.