Обработка естественного языка - Введение
Язык - это способ общения, с помощью которого мы можем говорить, читать и писать. Например, мы думаем, принимаем решения, планы и многое другое на естественном языке; именно на словах. Однако большой вопрос, который стоит перед нами в эпоху искусственного интеллекта, заключается в том, можем ли мы таким же образом общаться с компьютерами. Другими словами, могут ли люди общаться с компьютерами на своем естественном языке? Для нас сложно разрабатывать приложения НЛП, потому что компьютерам нужны структурированные данные, а человеческая речь неструктурирована и часто неоднозначна по своей природе.
В этом смысле мы можем сказать, что обработка естественного языка (NLP) - это подраздел компьютерных наук, особенно искусственный интеллект (AI), который заботится о том, чтобы компьютеры могли понимать и обрабатывать человеческий язык. Технически, основная задача НЛП - программировать компьютеры для анализа и обработки огромного количества данных на естественном языке.
История НЛП
Мы разделили историю НЛП на четыре этапа. У фаз есть отличительные особенности и стили.
Первый этап (этап машинного перевода) - конец 1940-х - конец 1960-х гг.
Работа, проделанная на этом этапе, была сосредоточена в основном на машинном переводе (МП). Этот этап был периодом энтузиазма и оптимизма.
Давайте теперь посмотрим все, что было в первой фазе -
Исследования НЛП начались в начале 1950-х годов после расследования Бута и Риченса и меморандума Уивера по машинному переводу в 1949 году.
1954 был годом, когда ограниченный эксперимент по автоматическому переводу с русского на английский был продемонстрирован в эксперименте Джорджтаун-IBM.
В этом же году началось издание журнала MT (Машинный перевод).
Первая международная конференция по машинному переводу (МП) состоялась в 1952 году, а вторая - в 1956 году.
В 1961 году работа, представленная на Международной конференции в Теддингтоне по машинному переводу языков и анализу прикладного языка, была кульминацией этого этапа.
Вторая фаза (фаза влияния ИИ) - конец 1960-х - конец 1970-х гг.
На этом этапе проделанная работа в основном была связана с мировым знанием и его ролью в конструировании смысловых представлений и манипулировании ими. Вот почему эта фаза также называется фазой со вкусом AI.
В фазе было следующее:
В начале 1961 года началась работа над проблемами обращения и построения базы данных или знаний. На эту работу оказал влияние AI.
В том же году была разработана вопросно-ответная система BASEBALL. Вход в эту систему был ограничен, а языковая обработка была простой.
Очень продвинутая система была описана Минским (1968). Эта система, по сравнению с системой ответов на вопросы BASEBALL, была признана и обеспечена необходимостью вывода на основе базы знаний при интерпретации и ответе на языковой ввод.
Третья фаза (грамматико-логическая) - конец 1970-х - конец 1980-х гг.
Этот этап можно охарактеризовать как грамматико-логический этап. Из-за провала практического построения системы на последнем этапе исследователи перешли к использованию логики для представления знаний и рассуждений в ИИ.
В третьей фазе было следующее:
К концу десятилетия грамматико-логический подход помог нам с мощными универсальными обработчиками предложений, такими как Core Language Engine и Discourse Presentation Theory от SRI, которые предложили средства для решения более широкого дискурса.
На этом этапе у нас есть некоторые практические ресурсы и инструменты, такие как парсеры, например Alvey Natural Language Tools, а также более оперативные и коммерческие системы, например, для запросов к базе данных.
Работа над лексикой в 1980-е гг. Также указала в сторону грамматико-логического подхода.
Четвертая фаза (лексическая и корпусная фаза) - 1990-е годы
Мы можем описать это как фазу лексики и корпуса. Эта фаза имела лексический подход к грамматике, который появился в конце 1980-х и стал оказывать все большее влияние. В этом десятилетии произошла революция в обработке естественного языка с появлением алгоритмов машинного обучения для языковой обработки.
Изучение человеческих языков
Язык - важнейший компонент человеческой жизни, а также самый фундаментальный аспект нашего поведения. Мы можем переживать это в основном в двух формах - письменной и устной. В письменной форме это способ передать наши знания от одного поколения к другому. В устной форме это основная среда, с помощью которой люди координируют друг с другом свое повседневное поведение. Язык изучается по различным академическим дисциплинам. Каждая дисциплина имеет свой собственный набор проблем и набор решений для их решения.
Рассмотрим следующую таблицу, чтобы понять это -
| Дисциплина | Проблемы | инструменты |
|---|---|---|
Лингвисты |
Как можно составить фразы и предложения из слов? Что ограничивает возможное значение предложения? |
Интуиция о правильном построении и значении. Математическая модель строения. Например, теоретико-модельная семантика, теория формального языка. |
Психолингвисты |
Как люди могут определить структуру предложений? Как можно определить значение слов? Когда приходит понимание? |
Экспериментальные методы в основном для измерения работоспособности людей. Статистический анализ наблюдений. |
Философы |
Как слова и предложения приобретают смысл? Как объекты идентифицируются по словам? Что это значит? |
Аргументация на естественном языке с помощью интуиции. Математические модели, такие как логика и теория моделей. |
Компьютерные лингвисты |
Как определить структуру предложения Как можно смоделировать знания и рассуждения? Как мы можем использовать язык для решения конкретных задач? |
Алгоритмы Структуры данных Формальные модели представления и рассуждения. Методы искусственного интеллекта, такие как методы поиска и представления. |
Двусмысленность и неопределенность в языке
Неоднозначность, обычно используемая при обработке естественного языка, может быть обозначена как способность быть понятым более чем одним способом. Проще говоря, мы можем сказать, что двусмысленность - это способность пониматься более чем одним способом. Естественный язык очень неоднозначен. НЛП имеет следующие типы двусмысленности:
Лексическая двусмысленность
Двусмысленность отдельного слова называется лексической неоднозначностью. Например, обрабатывая словоsilver как существительное, прилагательное или глагол.
Синтаксическая двусмысленность
Такая двусмысленность возникает, когда предложение разбирается по-разному. Например, предложение «Мужчина увидел девушку в телескоп». Неизвестно, видел ли мужчина девушку с телескопом или он видел ее в свой телескоп.
Семантическая неоднозначность
Подобная двусмысленность возникает, когда значение самих слов может быть неправильно истолковано. Другими словами, семантическая неоднозначность возникает, когда предложение содержит неоднозначное слово или фразу. Например, предложение «Автомобиль ударился о столб, когда он двигался» имеет семантическую двусмысленность, поскольку интерпретациями могут быть «Автомобиль, двигаясь, ударился о столб» и «Автомобиль ударился о столб, когда столб двигался».
Анафорическая двусмысленность
Подобная двусмысленность возникает из-за использования анафорных сущностей в дискурсе. Например, лошадь забежала в гору. Было очень круто. Вскоре он устал. Здесь анафорическое упоминание «оно» в двух ситуациях вызывает двусмысленность.
Прагматическая двусмысленность
Подобная двусмысленность относится к ситуации, когда контекст фразы дает ей несколько интерпретаций. Проще говоря, мы можем сказать, что прагматическая двусмысленность возникает, когда утверждение не является конкретным. Например, предложение «Ты мне тоже нравишься» может иметь несколько интерпретаций: ты мне нравишься (точно так же, как ты нравишься мне), ты мне нравишься (точно так же, как кто-то другой).
Фазы НЛП
На следующей диаграмме показаны фазы или логические шаги обработки естественного языка.
Морфологическая обработка
Это первая фаза НЛП. Цель этого этапа - разбить фрагменты языкового ввода на наборы лексем, соответствующих абзацам, предложениям и словам. Например, такое слово, как“uneasy” можно разбить на два токена подслова как “un-easy”.
Синтаксический анализ
Это вторая фаза НЛП. Цель этого этапа состоит в двух аспектах: проверить, правильно ли составлено предложение, и разбить его на структуру, которая показывает синтаксические отношения между разными словами. Например, предложение вроде“The school goes to the boy” будут отклонены синтаксическим анализатором или парсером.
Семантический анализ
Это третья фаза НЛП. Цель этого этапа - определить точное значение, или вы можете сказать значение словаря из текста. Текст проверяется на осмысленность. Например, семантический анализатор отклонит предложение типа «Горячее мороженое».
Прагматический анализ
Это четвертая фаза НЛП. Прагматический анализ просто соответствует реальным объектам / событиям, которые существуют в данном контексте, со ссылками на объекты, полученными на последнем этапе (семантический анализ). Например, предложение «Положить банан в корзину на полку» может иметь две смысловые интерпретации, и прагматический анализатор будет выбирать между этими двумя вариантами.