Część tagowania mowy (PoS)
Tagowanie to rodzaj klasyfikacji, którą można zdefiniować jako automatyczne przypisywanie opisu do tokenów. Tutaj deskryptor nazywany jest znacznikiem, który może reprezentować część mowy, informację semantyczną i tak dalej.
Teraz, jeśli mówimy o tagowaniu części mowy (PoS), to można to zdefiniować jako proces przypisywania jednej z części mowy do danego słowa. Nazywa się to ogólnie tagowaniem POS. W prostych słowach można powiedzieć, że tagowanie POS to zadanie oznaczania każdego słowa w zdaniu odpowiednią częścią wypowiedzi. Wiemy już, że części mowy obejmują rzeczowniki, czasowniki, przysłówki, przymiotniki, zaimki, spójniki i ich podkategorie.
Większość procesów znakowania POS należy do kategorii Rule Base Tagging, Stochastic POS tagging i Transformation based tagging.
Tagowanie POS oparte na regułach
Jedną z najstarszych technik tagowania jest oparte na regułach tagowanie POS. Znaczniki oparte na regułach używają słownika lub leksykonu do uzyskiwania możliwych tagów do oznaczania każdego słowa. Jeśli słowo ma więcej niż jeden możliwy tag, to taggery oparte na regułach używają reguł napisanych odręcznie, aby zidentyfikować właściwy tag. Ujednoznacznienie można również przeprowadzić w tagowaniu opartym na regułach, analizując cechy językowe słowa wraz z jego poprzednimi i następnymi słowami. Na przykład, załóżmy, że jeśli poprzedzające słowo w wyrazie jest przedimkiem, to słowo musi być rzeczownikiem.
Jak sama nazwa wskazuje, wszystkie tego typu informacje w tagowaniu POS opartym na regułach są kodowane w postaci reguł. Te zasady mogą być:
Reguły wzorców kontekstowych
Lub, jako wyrażenie regularne skompilowane do automatów o skończonych stanach, przecięte z leksykalnie niejednoznaczną reprezentacją zdań.
Możemy również zrozumieć tagowanie POS oparte na regułach dzięki jego dwuetapowej architekturze -
First stage - Na pierwszym etapie za pomocą słownika przypisuje każdemu słowu listę potencjalnych części mowy.
Second stage - Na drugim etapie używa dużych list ręcznie napisanych reguł ujednoznaczniania, aby posortować listę do jednej części mowy dla każdego słowa.
Właściwości znakowania POS opartego na regułach
Oparte na regułach znaczniki POS mają następujące właściwości -
Te taggery to taggery oparte na wiedzy.
Reguły w tagowaniu POS opartym na regułach są tworzone ręcznie.
Informacje są zakodowane w formie reguł.
Mamy pewną ograniczoną liczbę reguł około 1000.
Wygładzanie i modelowanie języka są definiowane jawnie w taggerach opartych na regułach.
Stochastyczne znakowanie POS
Inną techniką tagowania jest Stochastic POS Tagging. Teraz pojawia się pytanie, który model może być stochastyczny. Model zawierający częstotliwość lub prawdopodobieństwo (statystyki) można nazwać stochastycznym. Dowolną liczbę różnych podejść do problemu tagowania części mowy można nazwać taggerem stochastycznym.
Najprostszy tagger stochastyczny stosuje następujące podejścia do tagowania POS -
Podejście oparte na częstotliwości słów
W tym podejściu stochastyczne znaczniki rozróżniają słowa na podstawie prawdopodobieństwa, że słowo występuje z określonym znacznikiem. Można również powiedzieć, że najczęściej spotykanym znacznikiem ze słowem w zestawie uczącym jest ten, który jest przypisany do niejednoznacznego wystąpienia tego słowa. Głównym problemem związanym z tym podejściem jest to, że może ono skutkować niedopuszczalną sekwencją tagów.
Prawdopodobieństwa sekwencji tagów
Jest to inne podejście do tagowania stochastycznego, w którym tagger oblicza prawdopodobieństwo wystąpienia danej sekwencji tagów. Nazywa się to również podejściem n-gramowym. Nazywa się to tak, ponieważ najlepszy znacznik dla danego słowa jest określany przez prawdopodobieństwo, z jakim występuje on z n poprzednimi znacznikami.
Właściwości stochastycznego znakowania POST
Stochastyczne taggery POS mają następujące właściwości -
To znakowanie POS jest oparte na prawdopodobieństwie wystąpienia tagu.
Wymaga korpusu szkoleniowego
Nie byłoby prawdopodobieństwa słów, których nie ma w korpusie.
Używa innego korpusu testowego (innego niż korpus szkoleniowy).
Jest to najprostsze tagowanie POS, ponieważ wybiera najczęściej używane tagi związane ze słowem w korpusie szkoleniowym.
Tagowanie oparte na transformacji
Znakowanie oparte na transformacji jest również nazywane tagowaniem Brill. Jest to przykład uczenia się opartego na transformacji (TBL), czyli opartego na regułach algorytmu automatycznego przypisywania POS do danego tekstu. TBL, pozwala nam mieć wiedzę językową w czytelnej formie, przekształca jeden stan w inny za pomocą reguł transformacji.
Czerpie inspirację z obu wcześniej wyjaśnionych taggerów - opartych na regułach i stochastycznych. Jeśli widzimy podobieństwo między tagerem opartym na regułach a tagiem transformacji, to podobnie jak w oparciu o reguły, jest on również oparty na regułach określających, jakie tagi należy przypisać do jakich słów. Z drugiej strony, jeśli widzimy podobieństwo między tagerem stochastycznym i transformacyjnym, to podobnie jak stochastyczny, jest to technika uczenia maszynowego, w której reguły są automatycznie indukowane na podstawie danych.
Działanie uczenia się opartego na transformacji (TBL)
Aby zrozumieć działanie i koncepcję taggerów opartych na transformacji, musimy zrozumieć działanie uczenia się opartego na transformacji. Rozważ następujące kroki, aby zrozumieć działanie TBL -
Start with the solution - TBL zwykle zaczyna się od rozwiązania problemu i działa cyklicznie.
Most beneficial transformation chosen - W każdym cyklu TBL wybierze najbardziej korzystną transformację.
Apply to the problem - Transformacja wybrana w ostatnim kroku zostanie zastosowana do problemu.
Algorytm zatrzyma się, gdy wybrana transformacja w kroku 2 nie doda więcej wartości lub nie będzie więcej transformacji do wybrania. Ten rodzaj uczenia się najlepiej sprawdza się w zadaniach klasyfikacyjnych.
Zalety uczenia się opartego na transformacji (TBL)
Zalety TBL są następujące -
Uczymy się małego zestawu prostych reguł i te reguły wystarczą do tagowania.
Tworzenie i debugowanie w TBL jest bardzo łatwe, ponieważ wyuczone reguły są łatwe do zrozumienia.
Złożoność znakowania jest zmniejszona, ponieważ w TBL występuje przeplot reguł opracowanych przez maszynę i stworzonych przez człowieka.
Tagger oparty na transformacji jest znacznie szybszy niż tagger modelu Markova.
Wady uczenia się opartego na transformacji (TBL)
Wady TBL są następujące -
Uczenie się oparte na transformacji (TBL) nie zapewnia prawdopodobieństw tagów.
W TBL czas szkolenia jest bardzo długi, szczególnie w dużych korpusach.
Ukryty model Markowa (HMM) Znakowanie POS
Zanim zagłębimy się w tagowanie HMM POS, musimy zrozumieć koncepcję Hidden Markov Model (HMM).
Ukryty model Markowa
Model HMM można zdefiniować jako podwójnie osadzony model stochastyczny, w którym ukryty jest podstawowy proces stochastyczny. Ten ukryty proces stochastyczny można zaobserwować tylko poprzez inny zestaw procesów stochastycznych, który tworzy sekwencję obserwacji.
Przykład
Na przykład, wykonywana jest sekwencja ukrytych eksperymentów w rzucaniu monetą i widzimy tylko sekwencję obserwacji składającą się z orłów i reszek. Właściwe szczegóły procesu - ile monet wykorzystano, kolejność ich wybierania - są przed nami ukryte. Obserwując tę sekwencję orłów i ogonów, możemy zbudować kilka HMM, aby wyjaśnić tę sekwencję. Oto jedna z form ukrytego modelu Markowa dla tego problemu -
Założyliśmy, że w HMM są dwa stany, a każdy z nich odpowiada doborowi innej jednostronnej monety. Poniższa macierz podaje prawdopodobieństwa przejścia stanów -
$$ A = \ begin {bmatrix} a11 & a12 \\ a21 & a22 \ end {bmatrix} $$
Tutaj,
aij = prawdopodobieństwo przejścia z jednego stanu do drugiego z i do j.
a11 + a12= 1 i a 21 + a 22 = 1
P1 = prawdopodobieństwo orłów pierwszej monety, tj. stronniczość pierwszej monety.
P2 = prawdopodobieństwo reszek drugiej monety, tj. stronniczość drugiej monety.
Możemy również stworzyć model HMM zakładając, że są 3 monety lub więcej.
W ten sposób możemy scharakteryzować HMM za pomocą następujących elementów -
N, liczba stanów w modelu (w powyższym przykładzie N = 2 tylko dwa stany).
M, liczba odrębnych obserwacji, które mogą pojawić się w każdym stanie w powyższym przykładzie M = 2, tj. H lub T).
A, rozkład prawdopodobieństwa przejścia stanów - macierz A w powyższym przykładzie.
P, rozkład prawdopodobieństwa obserwowalnych symboli w każdym stanie (w naszym przykładzie P1 i P2).
Ja, rozkład stanu początkowego.
Wykorzystanie HMM do znakowania POS
Proces znakowania POS to proces znajdowania sekwencji tagów, która najprawdopodobniej wygenerowała daną sekwencję słów. Możemy modelować ten proces POS za pomocą Hidden Markov Model (HMM), gdzietags są hidden states który wyprodukował observable output, tj words.
Matematycznie, w tagowaniu POS zawsze jesteśmy zainteresowani znalezieniem sekwencji tagów (C), która maksymalizuje -
P (C|W)
Gdzie,
C = C 1 , C 2 , C 3 ... C T
W = W 1 , W 2 , W 3 , W T
Z drugiej strony faktem jest, że potrzebujemy wielu danych statystycznych, aby rozsądnie oszacować tego rodzaju sekwencje. Jednak dla uproszczenia problemu możemy zastosować pewne przekształcenia matematyczne wraz z pewnymi założeniami.
Zastosowanie HMM do znakowania POS jest szczególnym przypadkiem interferencji bayesowskiej. Dlatego zaczniemy od ponownego sformułowania problemu przy użyciu reguły Bayesa, która mówi, że wspomniane wyżej prawdopodobieństwo warunkowe jest równe -
(PROB (C1,..., CT) * PROB (W1,..., WT | C1,..., CT)) / PROB (W1,..., WT)
We wszystkich tych przypadkach możemy wyeliminować mianownik, ponieważ interesuje nas znalezienie ciągu C, który maksymalizuje powyższą wartość. Nie wpłynie to na naszą odpowiedź. Teraz nasz problem sprowadza się do znalezienia sekwencji C, która maksymalizuje -
PROB (C1,..., CT) * PROB (W1,..., WT | C1,..., CT) (1)
Nawet po zmniejszeniu problemu w powyższym wyrażeniu wymagałoby to dużej ilości danych. Możemy przyjąć rozsądne założenia dotyczące niezależności dotyczące dwóch prawdopodobieństw w powyższym wyrażeniu, aby przezwyciężyć problem.
Pierwsze Wniebowzięcie
Prawdopodobieństwo znacznika zależy od poprzedniego (model bigram) lub dwóch poprzednich (model trygramowy) lub poprzednich n znaczników (model n-gramowy), które matematycznie można wyjaśnić w następujący sposób -
PROB (C1,..., CT) = Πi=1..T PROB (Ci|Ci-n+1…Ci-1) (n-gram model)
PROB (C1,..., CT) = Πi=1..T PROB (Ci|Ci-1) (bigram model)
Początek zdania można obliczyć, zakładając początkowe prawdopodobieństwo dla każdego znacznika.
PROB (C1|C0) = PROB initial (C1)
Drugie Wniebowzięcie
Drugie prawdopodobieństwo w powyższym równaniu (1) można przybliżyć, zakładając, że słowo występuje w kategorii niezależnej od słów w poprzednich lub kolejnych kategoriach, co można matematycznie wyjaśnić w następujący sposób:
PROB (W1,..., WT | C1,..., CT) = Πi=1..T PROB (Wi|Ci)
Teraz, na podstawie dwóch powyższych założeń, nasz cel sprowadza się do znalezienia ciągu C, który maksymalizuje
Πi=1...T PROB(Ci|Ci-1) * PROB(Wi|Ci)
Teraz pojawia się pytanie, czy przekonwertowanie problemu do powyższej postaci naprawdę nam pomogło. Odpowiedź brzmi - tak, ma. Jeśli mamy duży otagowany korpus, to dwa prawdopodobieństwa w powyższym wzorze można obliczyć jako -
PROB (Ci=VERB|Ci-1=NOUN) = (# of instances where Verb follows Noun) / (# of instances where Noun appears) (2)
PROB (Wi|Ci) = (# of instances where Wi appears in Ci) /(# of instances where Ci appears) (3)