Andrew Ng cunhou e está defendendo o conceito de IA centrada em dados. Data-Centric AI é a disciplina de dados de entrada de engenharia para modelos AI e os mesmos princípios se aplicam à descoberta e estruturação de dados de treinamento NLU.

Introdução

Na Conversational AI, o desenvolvimento de chatbots e voicebots teve um foco significativo em estruturas, design de conversação e benchmarking NLU.

As estruturas de desenvolvimento alcançaram alta eficiência no desenvolvimento do estado da conversa e no design da conversa. E um número crescente de fornecedores está concordando com o fato de que a diferenciação entre os modelos NLU está se tornando insignificante.

Portanto, isso levanta a questão: como o estado atual de paridade de plataforma pode ser quebrado e a verdadeira diferenciação CX alcançada?

A resposta está em uma abordagem centrada em dados para criar dados de treinamento NLU…

Descoberta e desenvolvimento de intenção centrada em dados

O desenvolvimento do chatbot precisa urgentemente de uma abordagem centrada em dados, onde o foco do laser é dado à seleção de dados não estruturados e transformando os dados não estruturados em dados de design e treinamento NLU .

Os chatbots falham principalmente devido a dois motivos… o primeiro motivo é que as intenções desenvolvidas não estão alinhadas com as intenções do usuário. A segunda razão é que as intenções não são flexíveis, você precisa ser capaz de facilmente e de forma contínua:
▪️ Mesclar intenções
▪️ Dividir intenções
▪️ Criar intenções hierárquicas ou aninhadas
▪️ Descoberta e manutenção de intenções.

Uma abordagem centrada em dados para o desenvolvimento do chatbot começa com a definição de intenções com base nas conversas existentes com os clientes. Uma intenção é, em essência, um agrupamento ou agrupamento de declarações ou sentenças semanticamente semelhantes. O nome da intenção é o rótulo que descreve o cluster ou agrupamento de declarações.

Existem várias ferramentas criando os agrupamentos ou clusters, acima está um exemplo usando os embeddings Cohere .

Outra ferramenta gráfica para explorar e salvar frases semelhantes é chamada Bulk .

Abaixo está um exemplo de Bulk mostrando como um cluster pode ser selecionado graficamente e as sentenças designadas exibidas. A lista de enunciados que fazem parte da seleção constitui uma intenção. E o agrupamento pode ser salvo como parte do processo de engenharia de estruturação de dados de treinamento NLU.

⭐️ Por favor, siga-me no LinkedIn para atualizações sobre Conversational AI ⭐️

Considerando a imagem abaixo, o processo de criação de intenções a partir de dados de conversas existentes aumenta a sobreposição de conversas de clientes existentes (intenções do cliente) com intenções desenvolvidas. O alinhamento entre esses dois elementos é crucial para uma implantação de IA conversacional bem-sucedida.

Gerenciamento de intenção humano-in-the-loop

As intenções são de fato a linha de frente de qualquer implementação de chatbot e definem quais conversas os usuários podem ter. Por motivos de eficiência e escalabilidade, a criação e o gerenciamento de intenções em escala exigem um espaço latente acelerado onde uma abordagem de supervisão fraca assistida por IA pode ser seguida.

O processo de gerenciamento de intenção é uma tarefa contínua e requer um espaço latente sem código acelerado onde as melhores práticas centradas em dados podem ser implementadas.

Conforme visto na imagem acima, o gerenciamento de intenções não é apenas o gerenciamento de rótulos e dados de treinamento, mas também o gerenciamento de intenções. O gerenciamento de intenções inclui divisão de intenções, fusão, hierarquias e intenções de movimentação.

Um processo contínuo de NLU Design e gerenciamento de intenção garante que a camada de intenção da implementação de Conversational AI permaneça flexível e se adapte às conversas dos usuários.

⭐️ Por favor, siga-me no LinkedIn para atualizações sobre Conversational AI ⭐️

Atualmente sou o Evangelista Chefe @ HumanFirst . Eu exploro e escrevo sobre todas as coisas na interseção de IA e linguagem; variando de LLMs , Chatbots , Voicebots , estruturas de desenvolvimento, espaços latentes centrados em dados e muito mais.

O Cobus Quadrant™ de design de NLU O Cobus Quadrant™ de recursos de design de conversação