Внедрение ориентированного на данные ИИ для моделей NLU

Эндрю Нг придумал и отстаивает концепцию ИИ, ориентированного на данные. Ориентированный на данные ИИ — это дисциплина проектирования входных данных для моделей ИИ, и те же принципы применяются к обнаружению и структурированию обучающих данных NLU.

Введение
В разговорном ИИ при разработке чат-ботов и голосовых ботов особое внимание уделялось фреймворкам, дизайну разговоров и сравнительному анализу NLU.
Среды разработки достигли высокой эффективности в разработке состояния диалога и дизайне диалога. И все большее число поставщиков соглашаются с тем, что различия между моделями NLU становятся незначительными.
Таким образом, возникает вопрос, как можно нарушить нынешнее состояние паритета платформ и добиться истинной дифференциации CX?
Ответ заключается в ориентированном на данные подходе к созданию обучающих данных NLU…

Обнаружение и разработка ориентированных на данные намерений
Разработка чат-бота остро нуждается в подходе, ориентированном на данные, при котором основное внимание уделяется выбору неструктурированных данных и превращению неструктурированных данных в данные проектирования и обучения NLU .
Чат-боты терпят неудачу в основном по двум причинам… первая причина заключается в том, что разработанные намерения не совпадают с намерениями пользователя. Вторая причина заключается в том, что намерения не являются гибкими, вы должны иметь возможность легко и на постоянной основе: ▪️ Объединять намерения ▪️ Разделять намерения ▪️ Создавать иерархические или вложенные намерения ▪️ Обнаружение и обслуживание намерений.
Ориентированный на данные подход к разработке чат-ботов начинается с определения намерений на основе существующих разговоров с клиентами. Намерение, по сути, представляет собой группу или группу семантически сходных высказываний или предложений. Имя намерения — это метка, описывающая кластер или группу высказываний.

Существуют различные инструменты для создания групп или кластеров, выше приведен пример с использованием вложений Cohere .
Еще один графический инструмент для изучения и сохранения похожих предложений называется Bulk .
Ниже приведен пример Bulk , показывающий, как можно графически выбрать кластер и отобразить назначенные предложения. Список высказываний, составляющих часть выбора, составляет намерение. И группировку можно сохранить как часть инженерного процесса структурирования обучающих данных NLU.

⭐️ Следите за мной в LinkedIn , чтобы быть в курсе обновлений разговорного ИИ ⭐️
Рассматривая изображение ниже, процесс создания намерений из существующих диалоговых данных увеличивает перекрытие существующих разговоров с клиентами (намерения клиентов) с разработанными намерениями. Согласование между этими двумя элементами имеет решающее значение для успешного развертывания диалогового ИИ.


Управление намерениями человека в цикле
Намерения действительно являются передовой линией любой реализации чат-бота и определяют, какие разговоры могут вести пользователи. Из соображений эффективности и масштабируемости создание намерений и управление ими в масштабе требует ускоренного скрытого пространства, где можно использовать подход слабого контроля с помощью ИИ.
Процесс управления намерениями является постоянной задачей и требует ускоренного скрытого пространства без кода, где могут быть реализованы лучшие практики, ориентированные на данные.

Как видно на изображении выше, управление намерениями — это не только управление метками и обучающими данными, но и управление намерениями. Управление намерениями включает разделение намерений, слияние, иерархию и перемещение намерений.
Непрерывный процесс проектирования NLU и управления намерениями гарантирует, что уровень намерений реализации диалогового ИИ остается гибким и адаптируется к разговорам пользователей.
⭐️ Следите за мной в LinkedIn , чтобы быть в курсе обновлений разговорного ИИ ⭐️

В настоящее время я главный евангелист @ HumanFirst . Я исследую и пишу обо всем на стыке ИИ и языка; начиная от LLM , чат-ботов , голосовых ботов , платформ разработки, скрытых пространств, ориентированных на данные, и многого другого.



