NLU 모델을 위한 데이터 중심 AI 구현

Andrew Ng는 Data-Centric AI의 개념을 만들었고 옹호하고 있습니다. Data-Centric AI는 AI 모델을 위한 엔지니어링 입력 데이터 분야이며 동일한 원칙이 NLU 교육 데이터를 검색하고 구조화하는 데 적용됩니다.

소개
대화형 AI에서 챗봇과 보이스봇의 개발은 프레임워크, 대화 디자인 및 NLU 벤치마킹에 중점을 두고 있습니다.
개발 프레임워크는 대화 상태 개발 및 대화 디자인에서 높은 효율성에 도달했습니다. 그리고 점점 더 많은 공급업체가 NLU 모델 간의 차별화가 무시할 수 있는 수준이 되고 있다는 사실에 동의하고 있습니다.
따라서 플랫폼 패리티의 현재 상태를 깨고 진정한 CX 차별화를 달성할 수 있는 방법은 무엇입니까?
답은 NLU 교육 데이터를 생성하는 데이터 중심 접근 방식에 있습니다…

데이터 중심 의도 검색 및 개발
챗봇 개발에는 비정형 데이터를 선택하고 비정형 데이터를 NLU 설계 및 교육 데이터로 전환하는 데 집중하는 데이터 중심 접근 방식이 절실히 필요합니다.
챗봇은 주로 두 가지 이유로 실패합니다 . 첫 번째 이유는 개발된 의도가 사용자 의도와 일치하지 않는다는 것입니다. 두 번째 이유는 인텐트가 유연하지 않기 때문에 쉽고 지속적으로 수행할 수 있어야 합니다.
▪️ 인텐트 병합
▪️ 인텐트 분할
▪️ 계층적 또는 중첩된 인텐트 생성
▪️ 인텐트 검색 및 유지 관리.
챗봇 개발에 대한 데이터 중심 접근 방식은 기존 고객 대화를 기반으로 의도를 정의하는 것으로 시작됩니다. 의도 는 본질적으로 의미상 유사한 발화 또는 문장의 그룹화 또는 클러스터입니다. 의도 이름은 발화의 클러스터 또는 그룹화를 설명하는 레이블입니다.

그룹화 또는 클러스터를 생성하는 다양한 도구가 있으며 위의 예는 Cohere 임베딩을 사용하는 예입니다.
유사한 문장을 탐색하고 저장하기 위한 또 다른 그래픽 도구는 Bulk 입니다 .
아래는 클러스터가 그래픽으로 선택되고 지정된 문장이 표시되는 방법을 보여주는 Bulk 의 예입니다 . 선택의 일부를 구성하는 발화 목록은 의도를 구성합니다. 그리고 그룹화는 NLU 교육 데이터를 구조화하는 엔지니어링 프로세스의 일부로 저장할 수 있습니다.

⭐️ 대화형 AI 업데이트를 보려면 LinkedIn 에서 저를 팔로우하세요 ⭐️
아래 이미지를 보면 기존 대화 데이터에서 인텐트를 생성하는 과정에서 기존 고객 대화(고객 인텐트)와 개발된 인텐트의 중첩이 증가합니다. 이 두 요소 간의 정렬은 성공적인 대화형 AI 배포에 매우 중요합니다.


Human-In-The-Loop 의도 관리
의도는 실제로 모든 챗봇 구현의 최전선이며 사용자가 가질 수 있는 대화를 정의합니다. 효율성과 확장성 때문에 대규모 의도 생성 및 관리에는 AI 지원 약한 감독 접근 방식을 따를 수 있는 가속화된 잠재 공간이 필요합니다.
의도 관리 프로세스는 진행 중인 작업이며 데이터 중심 모범 사례를 구현할 수 있는 가속화된 노코드 잠재 공간이 필요합니다.

위의 이미지에서 볼 수 있듯이 인텐트 관리는 레이블과 학습 데이터를 관리하는 것뿐만 아니라 인텐트 관리도 포함합니다. 의도 관리에는 의도 분할, 병합, 계층 및 이동 의도가 포함됩니다.
NLU 설계 및 의도 관리의 진행 중인 프로세스는 대화형 AI 구현의 의도 계층이 유연하게 유지되고 사용자의 대화에 적응하도록 보장합니다.
⭐️ 대화형 AI 업데이트를 보려면 LinkedIn 에서 저를 팔로우하세요 ⭐️

저는 현재 수석 전도사 @ HumanFirst 입니다 . 나는 AI와 언어의 교차점에서 모든 것을 탐구하고 씁니다. LLM , 챗봇 , 보이스봇 , 개발 프레임워크, 데이터 중심 잠재 공간 등에 이르기까지 다양 합니다 .



