Внедрение ориентированного на данные ИИ для моделей NLU

Nov 28 2022
Эндрю Нг придумал и отстаивает концепцию ИИ, ориентированного на данные. Ориентированный на данные ИИ — это дисциплина проектирования входных данных для моделей ИИ, и те же принципы применяются к обнаружению и структурированию обучающих данных NLU.

Эндрю Нг придумал и отстаивает концепцию ИИ, ориентированного на данные. Ориентированный на данные ИИ — это дисциплина проектирования входных данных для моделей ИИ, и те же принципы применяются к обнаружению и структурированию обучающих данных NLU.

Введение

В разговорном ИИ при разработке чат-ботов и голосовых ботов особое внимание уделялось фреймворкам, дизайну разговоров и сравнительному анализу NLU.

Среды разработки достигли высокой эффективности в разработке состояния диалога и дизайне диалога. И все большее число поставщиков соглашаются с тем, что различия между моделями NLU становятся незначительными.

Таким образом, возникает вопрос, как можно нарушить нынешнее состояние паритета платформ и добиться истинной дифференциации CX?

Ответ заключается в ориентированном на данные подходе к созданию обучающих данных NLU…

Обнаружение и разработка ориентированных на данные намерений

Разработка чат-бота остро нуждается в подходе, ориентированном на данные, при котором основное внимание уделяется выбору неструктурированных данных и превращению неструктурированных данных в данные проектирования и обучения NLU .

Чат-боты терпят неудачу в основном по двум причинам… первая причина заключается в том, что разработанные намерения не совпадают с намерениями пользователя. Вторая причина заключается в том, что намерения не являются гибкими, вы должны иметь возможность легко и на постоянной основе: ▪️ Объединять намерения ▪️ Разделять намерения ▪️ Создавать иерархические или вложенные намерения ▪️ Обнаружение и обслуживание намерений.



Ориентированный на данные подход к разработке чат-ботов начинается с определения намерений на основе существующих разговоров с клиентами. Намерение, по сути, представляет собой группу или группу семантически сходных высказываний или предложений. Имя намерения — это метка, описывающая кластер или группу высказываний.

В этом примере создаются семантически похожие кластеры с использованием вложений Cohere. Результатом является список недавно опубликованных статей по ИИ.

Существуют различные инструменты для создания групп или кластеров, выше приведен пример с использованием вложений Cohere .

Еще один графический инструмент для изучения и сохранения похожих предложений называется Bulk .

Ниже приведен пример Bulk , показывающий, как можно графически выбрать кластер и отобразить назначенные предложения. Список высказываний, составляющих часть выбора, составляет намерение. И группировку можно сохранить как часть инженерного процесса структурирования обучающих данных NLU.

⭐️ Следите за мной в LinkedIn , чтобы быть в курсе обновлений разговорного ИИ ⭐️

Рассматривая изображение ниже, процесс создания намерений из существующих диалоговых данных увеличивает перекрытие существующих разговоров с клиентами (намерения клиентов) с разработанными намерениями. Согласование между этими двумя элементами имеет решающее значение для успешного развертывания диалогового ИИ.

Управление намерениями человека в цикле

Намерения действительно являются передовой линией любой реализации чат-бота и определяют, какие разговоры могут вести пользователи. Из соображений эффективности и масштабируемости создание намерений и управление ими в масштабе требует ускоренного скрытого пространства, где можно использовать подход слабого контроля с помощью ИИ.

Процесс управления намерениями является постоянной задачей и требует ускоренного скрытого пространства без кода, где могут быть реализованы лучшие практики, ориентированные на данные.

Как видно на изображении выше, управление намерениями — это не только управление метками и обучающими данными, но и управление намерениями. Управление намерениями включает разделение намерений, слияние, иерархию и перемещение намерений.

Непрерывный процесс проектирования NLU и управления намерениями гарантирует, что уровень намерений реализации диалогового ИИ остается гибким и адаптируется к разговорам пользователей.

⭐️ Следите за мной в LinkedIn , чтобы быть в курсе обновлений разговорного ИИ ⭐️

В настоящее время я главный евангелист @ HumanFirst . Я исследую и пишу обо всем на стыке ИИ и языка; начиная от LLM , чат-ботов , голосовых ботов , платформ разработки, скрытых пространств, ориентированных на данные, и многого другого.

https://www.linkedin.com/in/cobusgreyling
Квадрант Cobus™ дизайна NLU Квадрант Cobus™ дизайна диалогов Возможности