Wdrażanie sztucznej inteligencji zorientowanej na dane dla modeli NLU

Nov 28 2022
Andrew Ng jest twórcą i orędownikiem koncepcji sztucznej inteligencji opartej na danych. Data-Centric AI to dyscyplina inżynierii danych wejściowych dla modeli AI i te same zasady dotyczą odkrywania i strukturyzacji danych szkoleniowych NLU.

Andrew Ng jest twórcą i orędownikiem koncepcji sztucznej inteligencji opartej na danych. Data-Centric AI to dyscyplina inżynierii danych wejściowych dla modeli AI i te same zasady dotyczą odkrywania i strukturyzacji danych szkoleniowych NLU.

Wstęp

W Conversational AI rozwój chatbotów i botów głosowych kładł duży nacisk na frameworki, projektowanie konwersacji i testy porównawcze NLU.

Ramy programistyczne osiągnęły wysoką wydajność w opracowywaniu stanu konwersacji i projektowaniu konwersacji. Coraz więcej dostawców zgadza się co do tego, że zróżnicowanie między modelami NLU staje się nieistotne.

Rodzi się zatem pytanie, w jaki sposób można przełamać obecny stan parzystości platform i osiągnąć prawdziwe zróżnicowanie CX?

Odpowiedź leży w podejściu skoncentrowanym na danych do tworzenia danych szkoleniowych NLU…

Data Centric Intent Discovery & Development

Rozwój Chatbota pilnie potrzebuje podejścia skoncentrowanego na danych, w którym laser koncentruje się na wyborze nieustrukturyzowanych danych i przekształcaniu nieustrukturyzowanych danych w dane projektowe i szkoleniowe NLU .

Chatboty zawodzą przede wszystkim z dwóch powodów… pierwszym powodem jest to, że opracowane intencje nie są zgodne z intencjami użytkowników. Drugim powodem jest to, że intencje nie są elastyczne, musisz być w stanie łatwo i na bieżąco: ▪️ Scalać intencje ▪️ Dzielić intencje ▪️ Tworzyć intencje hierarchiczne lub zagnieżdżone ▪️ Odnajdywanie i utrzymywanie intencji.



Podejście zorientowane na dane do rozwoju chatbota zaczyna się od zdefiniowania intencji na podstawie istniejących rozmów z klientami. Intencja jest w istocie zgrupowaniem lub klastrem semantycznie podobnych wypowiedzi lub zdań . Nazwa intencji to etykieta opisująca klaster lub grupę wypowiedzi.

Ten przykład polega na tworzeniu semantycznie podobnych klastrów przy użyciu osadzania Cohere. Wynikiem jest lista ostatnio opublikowanych artykułów AI.

Istnieją różne narzędzia do tworzenia grup lub klastrów, powyżej znajduje się przykład z wykorzystaniem osadzania Cohere .

Inne narzędzie graficzne do przeglądania i zapisywania podobnych zdań nazywa się Bulk .

Poniżej znajduje się przykład Bulk pokazujący, w jaki sposób można graficznie wybrać klaster i wyświetlić wyznaczone zdania. Lista wypowiedzi wchodzących w skład selekcji stanowi intencję. Grupowanie można zapisać jako część procesu inżynieryjnego strukturyzowania danych szkoleniowych NLU.

⭐️ Śledź mnie na LinkedIn , aby otrzymywać aktualizacje na temat Conversational AI ⭐️

Biorąc pod uwagę poniższy obraz, proces tworzenia intencji z istniejących danych konwersacyjnych zwiększa nakładanie się istniejących konwersacji klientów (intencji klienta) z rozwiniętymi intencjami. Dopasowanie między tymi dwoma elementami ma kluczowe znaczenie dla pomyślnego wdrożenia konwersacyjnej sztucznej inteligencji.

Zarządzanie intencją człowieka w pętli

Intencje są rzeczywiście pierwszą linią każdej implementacji chatbota i określają, jakie rozmowy mogą prowadzić użytkownicy. Ze względu na wydajność i skalowalność tworzenie intencji i zarządzanie nimi na dużą skalę wymaga przyspieszonej ukrytej przestrzeni, w której można zastosować podejście oparte na słabym nadzorze wspomaganym przez sztuczną inteligencję.

Proces zarządzania intencjami jest zadaniem ciągłym i wymaga przyspieszonej, ukrytej przestrzeni bez kodu, w której można wdrożyć najlepsze praktyki skoncentrowane na danych.

Jak widać na powyższym obrazku, zarządzanie intencjami to nie tylko zarządzanie etykietami i danymi szkoleniowymi, ale także zarządzanie intencjami. Zarządzanie intencjami obejmuje podział intencji, łączenie, hierarchie i przenoszenie intencji.

Trwający proces projektowania NLU i zarządzania intencjami zapewnia, że ​​warstwa intencji implementacji Conversational AI pozostaje elastyczna i dostosowuje się do rozmów użytkowników.

⭐️ Śledź mnie na LinkedIn , aby otrzymywać aktualizacje na temat Conversational AI ⭐️

Obecnie jestem Głównym Ewangelistą @ HumanFirst . Odkrywam i piszę o wszystkich rzeczach na styku sztucznej inteligencji i języka; począwszy od LLM , Chatbotów , Voicebotów , Frameworków programistycznych, ukrytych przestrzeni Data-Centric i innych.

https://www.linkedin.com/in/cobusgreyling
Cobus Quadrant™ projektowania NLU Cobus Quadrant™ możliwości projektowania konwersacji