AI с Python - обработка естественного языка
Обработка естественного языка (NLP) относится к методу ИИ для связи с интеллектуальными системами с использованием естественного языка, такого как английский.
Обработка естественного языка требуется, когда вы хотите, чтобы интеллектуальная система, такая как робот, работала в соответствии с вашими инструкциями, когда вы хотите услышать решение от клинической экспертной системы на основе диалогов и т. Д.
Область НЛП заключается в том, чтобы заставить компьютеры выполнять полезные задачи на естественных языках, используемых людьми. Вход и выход системы НЛП могут быть:
- Speech
- Письменный текст
Компоненты НЛП
В этом разделе мы узнаем о различных компонентах НЛП. НЛП состоит из двух компонентов. Компоненты описаны ниже -
Понимание естественного языка (NLU)
Он включает в себя следующие задачи -
Отображение заданного ввода на естественном языке в полезные представления.
Анализируем разные аспекты языка.
Генерация естественного языка (NLG)
Это процесс создания значимых фраз и предложений в форме естественного языка из некоторого внутреннего представления. Это включает в себя -
Text planning - Это включает получение соответствующего контента из базы знаний.
Sentence planning - Это включает в себя выбор необходимых слов, формирование значащих фраз, настройку тона предложения.
Text Realization - Это отображение плана предложения в структуру предложения.
Трудности в НЛУ
НЛУ очень богат по форме и структуре; однако это неоднозначно. Могут быть разные уровни двусмысленности -
Лексическая двусмысленность
Это очень примитивный уровень, такой как уровень слов. Например, рассматривать слово «доска» как существительное или глагол?
Неопределенность на уровне синтаксиса
Предложение можно разобрать по-разному. Например: «Жук с красной шапкой поднял». - Поднимал ли он жука колпаком или он поднимал жука с красной шляпкой?
Ссылочная двусмысленность
Обращение к чему-либо с использованием местоимений. Например, Римма пошла к Гаури. Она сказала: «Я устала». - Кто именно устал?
Терминология НЛП
Давайте теперь посмотрим на несколько важных терминов в терминологии НЛП.
Phonology - Это систематическое изучение организации звука.
Morphology - Это исследование построения слов из примитивных значимых единиц.
Morpheme - Это примитивная единица значения в языке.
Syntax- Это относится к составлению предложения из слов. Это также включает определение структурной роли слов в предложении и во фразах.
Semantics - Это касается значения слов и того, как объединять слова в значимые фразы и предложения.
Pragmatics - Он касается использования и понимания предложений в различных ситуациях и того, как это влияет на интерпретацию предложения.
Discourse - Это касается того, как предыдущее предложение может повлиять на толкование следующего предложения.
World Knowledge - Включает в себя общие знания о мире.
Шаги в НЛП
В этом разделе показаны различные этапы НЛП.
Лексический анализ
Он включает в себя определение и анализ структуры слов. Лексика языка означает набор слов и фраз на языке. Лексический анализ делит весь текстовый текст на абзацы, предложения и слова.
Синтаксический анализ (парсинг)
Он включает в себя анализ слов в предложении на предмет грамматики и расположение слов таким образом, чтобы показать взаимосвязь между словами. Такое предложение, как «Школа идет мальчику», отклоняется синтаксическим анализатором английского языка.
Семантический анализ
Он извлекает точное значение или словарное значение из текста. Текст проверяется на осмысленность. Это делается путем сопоставления синтаксических структур и объектов в области задач. Семантический анализатор игнорирует такие предложения, как «горячее мороженое».
Интеграция дискурса
Значение любого предложения зависит от значения предложения непосредственно перед ним. Кроме того, это также приводит к значению сразу следующего за ним предложения.
Прагматический анализ
При этом сказанное интерпретируется по-новому, исходя из того, что на самом деле означало. Он включает в себя получение тех аспектов языка, которые требуют знания реального мира.