Тегирование части речи (PoS)
Маркировка - это разновидность классификации, которую можно определить как автоматическое присвоение описания токенам. Здесь дескриптор называется тегом, который может представлять одну из частей речи, семантической информации и так далее.
Теперь, если мы говорим о тегировании части речи (PoS), то это можно определить как процесс присвоения одной из частей речи данному слову. Обычно это называется POS-тегами. Проще говоря, мы можем сказать, что POS-теги - это задача пометить каждое слово в предложении соответствующей частью речи. Мы уже знаем, что части речи включают существительные, глаголы, наречия, прилагательные, местоимения, союзы и их подкатегории.
Большая часть тегов POS подпадает под теги POS на основе правил, стохастические теги POS и теги на основе преобразования.
Маркировка POS на основе правил
Один из старейших методов тегирования - это тегирование POS на основе правил. Тегеры на основе правил используют словарь или лексику для получения возможных тегов для тегирования каждого слова. Если слово имеет более одного возможного тега, то тегеры на основе правил используют написанные от руки правила для определения правильного тега. Устранение неоднозначности также может быть выполнено в тегах на основе правил путем анализа лингвистических характеристик слова вместе с предшествующими и последующими словами. Например, предположим, что если предыдущее слово слова - артикль, то слово должно быть существительным.
Как следует из названия, вся такая информация в тегах POS на основе правил кодируется в форме правил. Эти правила могут быть либо -
Правила шаблона контекста
Или, как регулярное выражение, скомпилированное в конечный автомат, пересекающееся с лексически неоднозначным представлением предложения.
Мы также можем понять тегирование POS на основе правил по его двухэтапной архитектуре -
First stage - На первом этапе он использует словарь, чтобы присвоить каждому слову список потенциальных частей речи.
Second stage - На втором этапе он использует большие списки рукописных правил устранения неоднозначности, чтобы отсортировать список до одной части речи для каждого слова.
Свойства POS-тегов на основе правил
Тегеры POS на основе правил обладают следующими свойствами:
Эти тегеры ориентированы на знания.
Правила в тегах POS на основе правил создаются вручную.
Информация закодирована в виде правил.
У нас есть ограниченное количество правил, примерно около 1000.
Сглаживание и языковое моделирование явно определены в тегах на основе правил.
Стохастическая маркировка POS
Другой метод тегирования - это Stochastic POS Tagging. Теперь возникает вопрос, какая модель может быть стохастической. Модель, включающую частоту или вероятность (статистику), можно назвать стохастической. Любое количество различных подходов к проблеме тегирования части речи можно назвать стохастическим тегером.
В простейшем стохастическом тегере применяются следующие подходы к тегированию POS:
Слово частотный подход
В этом подходе стохастические тегеры устраняют неоднозначность слов на основе вероятности того, что слово встречается с конкретным тегом. Мы также можем сказать, что тег, который чаще всего встречается со словом в обучающем наборе, - это тег, присвоенный неоднозначному экземпляру этого слова. Основная проблема такого подхода в том, что он может привести к недопустимой последовательности тегов.
Вероятности последовательности тегов
Это еще один подход к стохастической маркировке, при которой устройство для маркировки вычисляет вероятность появления данной последовательности тегов. Это также называется подходом n-грамм. Он называется так, потому что лучший тег для данного слова определяется вероятностью, с которой он встречается с n предыдущими тегами.
Свойства стохастической POST-маркировки
Стохастические теги POS обладают следующими свойствами:
Эта маркировка POS основана на вероятности появления тега.
Требуется тренировочный корпус
Не было бы вероятности для слов, которых нет в корпусе.
Он использует другой корпус тестирования (кроме корпуса обучения).
Это простейшая маркировка POS, потому что она выбирает наиболее частые теги, связанные со словом в обучающем корпусе.
Теги на основе преобразования
Маркировка на основе преобразования также называется маркировкой Brill. Это пример обучения на основе преобразования (TBL), который представляет собой основанный на правилах алгоритм для автоматической привязки POS к заданному тексту. TBL позволяет нам иметь лингвистические знания в удобочитаемой форме, преобразует одно состояние в другое состояние с помощью правил преобразования.
Он черпает вдохновение из обоих объясненных ранее тегеров - основанных на правилах и стохастических. Если мы видим сходство между тегами на основе правил и преобразованием, то, как и в случае с тегами на основе правил, оно также основано на правилах, которые определяют, какие теги должны быть назначены каким словам. С другой стороны, если мы видим сходство между стохастиком и теггером преобразования, то, как и стохастик, это метод машинного обучения, в котором правила автоматически индуцируются из данных.
Работа по обучению на основе трансформации (TBL)
Чтобы понять принцип работы и концепцию тегеров на основе преобразований, нам необходимо понять работу обучения на основе преобразований. Рассмотрим следующие шаги, чтобы понять работу TBL -
Start with the solution - TBL обычно начинается с решения проблемы и работает циклически.
Most beneficial transformation chosen - В каждом цикле TBL выберет наиболее выгодную трансформацию.
Apply to the problem - Преобразование, выбранное на последнем шаге, будет применено к проблеме.
Алгоритм остановится, когда выбранное преобразование на шаге 2 не добавит дополнительных значений или если больше не будет выбранных преобразований. Такой способ обучения лучше всего подходит для задач классификации.
Преимущества обучения на основе трансформации (TBL)
Преимущества TBL следующие:
Мы изучаем небольшой набор простых правил, и этих правил достаточно для тегирования.
Разработка и отладка в TBL очень просты, потому что выученные правила легко понять.
Сложность тегирования снижается, поскольку в TBL чередуются правила, полученные машиной, и правила, созданные человеком.
Маркировщик на основе преобразования работает намного быстрее, чем марковский маркер.
Недостатки обучения на основе трансформации (TBL)
Недостатки TBL следующие:
Обучение на основе преобразования (TBL) не обеспечивает вероятностей тегов.
В TBL время обучения очень долгое, особенно на больших корпусах.
Скрытая марковская модель (HMM) POS Tagging
Прежде чем углубляться в теги HMM POS, мы должны понять концепцию скрытой марковской модели (HMM).
Скрытая марковская модель
Модель HMM может быть определена как стохастическая модель с двумя вложениями, в которой лежащий в основе стохастический процесс скрыт. Этот скрытый случайный процесс можно наблюдать только с помощью другого набора стохастических процессов, который производит последовательность наблюдений.
пример
Например, проводится последовательность экспериментов по подбрасыванию скрытой монеты, и мы видим только последовательность наблюдений, состоящую из орла и решки. Фактические детали процесса - сколько монет было использовано, порядок их выбора - скрыты от нас. Наблюдая за этой последовательностью орла и решки, мы можем построить несколько HMM для объяснения этой последовательности. Ниже приведена одна из форм скрытой марковской модели для этой проблемы.
Мы предположили, что в HMM есть два состояния, и каждое из состояний соответствует выбору разных смещенных монет. Следующая матрица дает вероятности перехода состояний -
$$ A = \ begin {bmatrix} a11 & a12 \\ a21 & a22 \ end {bmatrix} $$
Вот,
aij = вероятность перехода из одного состояния в другое от i до j.
a11 + a12= 1 и a 21 + a 22 = 1
P1 = вероятность выпадения орла первой монеты, т.е. смещение первой монеты.
P2 = вероятность выпадения орла второй монеты, то есть смещение второй монеты.
Мы также можем создать модель HMM, предполагая, что есть 3 или более монет.
Таким образом, мы можем охарактеризовать HMM следующими элементами:
N - количество состояний в модели (в приведенном выше примере N = 2, только два состояния).
M, количество различных наблюдений, которые могут появиться с каждым состоянием в приведенном выше примере M = 2, т. Е. H или T).
A, распределение вероятностей перехода состояний - матрица A в приведенном выше примере.
P, распределение вероятностей наблюдаемых символов в каждом состоянии (в нашем примере P1 и P2).
I, начальное состояние распределения.
Использование HMM для тегов POS
Процесс маркировки POS - это процесс поиска последовательности тегов, которая с наибольшей вероятностью сгенерировала данную последовательность слов. Мы можем смоделировать этот процесс POS, используя скрытую марковскую модель (HMM), гдеtags являются hidden states который произвел observable output, т.е. words.
С математической точки зрения, в тегах POS мы всегда заинтересованы в поиске последовательности тегов (C), которая максимизирует -
P (C|W)
Где,
С = С 1 , С 2 , С 3 ... С Т
W = W 1 , W 2 , W 3 , W T
С другой стороны, факт в том, что нам нужно много статистических данных, чтобы разумно оценивать такие последовательности. Однако, чтобы упростить задачу, мы можем применить некоторые математические преобразования наряду с некоторыми предположениями.
Использование HMM для маркировки POS - это особый случай байесовского вмешательства. Следовательно, мы начнем с повторения проблемы, используя правило Байеса, которое гласит, что вышеупомянутая условная вероятность равна -
(PROB (C1,..., CT) * PROB (W1,..., WT | C1,..., CT)) / PROB (W1,..., WT)
Мы можем исключить знаменатель во всех этих случаях, потому что мы заинтересованы в нахождении последовательности C, которая максимизирует указанное выше значение. Это не повлияет на наш ответ. Теперь наша проблема сводится к поиску последовательности C, которая максимизирует -
PROB (C1,..., CT) * PROB (W1,..., WT | C1,..., CT) (1)
Даже после уменьшения проблемы в приведенном выше выражении потребуется большой объем данных. Мы можем сделать разумные предположения о независимости двух вероятностей в приведенном выше выражении для преодоления проблемы.
Первое предположение
Вероятность тега зависит от предыдущего (модель биграмм) или двух предыдущих (модель триграммы) или предыдущих n тегов (модель n-грамм), что математически можно объяснить следующим образом:
PROB (C1,..., CT) = Πi=1..T PROB (Ci|Ci-n+1…Ci-1) (n-gram model)
PROB (C1,..., CT) = Πi=1..T PROB (Ci|Ci-1) (bigram model)
Начало предложения можно объяснить, приняв начальную вероятность для каждого тега.
PROB (C1|C0) = PROB initial (C1)
Второе предположение
Вторая вероятность в уравнении (1) выше может быть аппроксимирована, если предположить, что слово появляется в категории, независимой от слов в предшествующих или последующих категориях, что можно математически объяснить следующим образом:
PROB (W1,..., WT | C1,..., CT) = Πi=1..T PROB (Wi|Ci)
Теперь, основываясь на двух вышеупомянутых предположениях, наша цель сводится к нахождению последовательности C, которая максимизирует
Πi=1...T PROB(Ci|Ci-1) * PROB(Wi|Ci)
Теперь возникает вопрос, действительно ли нам помогло преобразование проблемы в приведенную выше форму. Ответ - да, есть. Если у нас есть большой корпус с тегами, то две вероятности в приведенной выше формуле можно рассчитать как -
PROB (Ci=VERB|Ci-1=NOUN) = (# of instances where Verb follows Noun) / (# of instances where Noun appears) (2)
PROB (Wi|Ci) = (# of instances where Wi appears in Ci) /(# of instances where Ci appears) (3)