Wdrażanie sztucznej inteligencji zorientowanej na dane dla modeli NLU

Andrew Ng jest twórcą i orędownikiem koncepcji sztucznej inteligencji opartej na danych. Data-Centric AI to dyscyplina inżynierii danych wejściowych dla modeli AI i te same zasady dotyczą odkrywania i strukturyzacji danych szkoleniowych NLU.

Wstęp
W Conversational AI rozwój chatbotów i botów głosowych kładł duży nacisk na frameworki, projektowanie konwersacji i testy porównawcze NLU.
Ramy programistyczne osiągnęły wysoką wydajność w opracowywaniu stanu konwersacji i projektowaniu konwersacji. Coraz więcej dostawców zgadza się co do tego, że zróżnicowanie między modelami NLU staje się nieistotne.
Rodzi się zatem pytanie, w jaki sposób można przełamać obecny stan parzystości platform i osiągnąć prawdziwe zróżnicowanie CX?
Odpowiedź leży w podejściu skoncentrowanym na danych do tworzenia danych szkoleniowych NLU…

Data Centric Intent Discovery & Development
Rozwój Chatbota pilnie potrzebuje podejścia skoncentrowanego na danych, w którym laser koncentruje się na wyborze nieustrukturyzowanych danych i przekształcaniu nieustrukturyzowanych danych w dane projektowe i szkoleniowe NLU .
Chatboty zawodzą przede wszystkim z dwóch powodów… pierwszym powodem jest to, że opracowane intencje nie są zgodne z intencjami użytkowników. Drugim powodem jest to, że intencje nie są elastyczne, musisz być w stanie łatwo i na bieżąco: ▪️ Scalać intencje ▪️ Dzielić intencje ▪️ Tworzyć intencje hierarchiczne lub zagnieżdżone ▪️ Odnajdywanie i utrzymywanie intencji.
Podejście zorientowane na dane do rozwoju chatbota zaczyna się od zdefiniowania intencji na podstawie istniejących rozmów z klientami. Intencja jest w istocie zgrupowaniem lub klastrem semantycznie podobnych wypowiedzi lub zdań . Nazwa intencji to etykieta opisująca klaster lub grupę wypowiedzi.

Istnieją różne narzędzia do tworzenia grup lub klastrów, powyżej znajduje się przykład z wykorzystaniem osadzania Cohere .
Inne narzędzie graficzne do przeglądania i zapisywania podobnych zdań nazywa się Bulk .
Poniżej znajduje się przykład Bulk pokazujący, w jaki sposób można graficznie wybrać klaster i wyświetlić wyznaczone zdania. Lista wypowiedzi wchodzących w skład selekcji stanowi intencję. Grupowanie można zapisać jako część procesu inżynieryjnego strukturyzowania danych szkoleniowych NLU.

⭐️ Śledź mnie na LinkedIn , aby otrzymywać aktualizacje na temat Conversational AI ⭐️
Biorąc pod uwagę poniższy obraz, proces tworzenia intencji z istniejących danych konwersacyjnych zwiększa nakładanie się istniejących konwersacji klientów (intencji klienta) z rozwiniętymi intencjami. Dopasowanie między tymi dwoma elementami ma kluczowe znaczenie dla pomyślnego wdrożenia konwersacyjnej sztucznej inteligencji.


Zarządzanie intencją człowieka w pętli
Intencje są rzeczywiście pierwszą linią każdej implementacji chatbota i określają, jakie rozmowy mogą prowadzić użytkownicy. Ze względu na wydajność i skalowalność tworzenie intencji i zarządzanie nimi na dużą skalę wymaga przyspieszonej ukrytej przestrzeni, w której można zastosować podejście oparte na słabym nadzorze wspomaganym przez sztuczną inteligencję.
Proces zarządzania intencjami jest zadaniem ciągłym i wymaga przyspieszonej, ukrytej przestrzeni bez kodu, w której można wdrożyć najlepsze praktyki skoncentrowane na danych.

Jak widać na powyższym obrazku, zarządzanie intencjami to nie tylko zarządzanie etykietami i danymi szkoleniowymi, ale także zarządzanie intencjami. Zarządzanie intencjami obejmuje podział intencji, łączenie, hierarchie i przenoszenie intencji.
Trwający proces projektowania NLU i zarządzania intencjami zapewnia, że warstwa intencji implementacji Conversational AI pozostaje elastyczna i dostosowuje się do rozmów użytkowników.
⭐️ Śledź mnie na LinkedIn , aby otrzymywać aktualizacje na temat Conversational AI ⭐️

Obecnie jestem Głównym Ewangelistą @ HumanFirst . Odkrywam i piszę o wszystkich rzeczach na styku sztucznej inteligencji i języka; począwszy od LLM , Chatbotów , Voicebotów , Frameworków programistycznych, ukrytych przestrzeni Data-Centric i innych.



