Na tym blogu dokonam przeglądu procesu wykorzystania uczenia się przez wzmacnianie (RL) do tworzenia i ulepszania modelu wielojęzykowego, takiego jak ChatGPT. Następnie pokażę, w jaki sposób OpenAI i Microsoft mogą wykorzystać RL, aby uniemożliwić konkurentom konkurowanie z nimi na generatywnym rynku sztucznej inteligencji. Następnie zasugeruję strategie dla nowych startupów, aby zaatakować fortecę. Najpierw przyjrzyjmy się, co rozumiemy przez „fosę”, która uniemożliwia atakującym dotarcie do zamku ChatGPT.

Tło modelu pięciu sił Portera

W 1979 roku Michael Porter opublikował swój przełomowy artykuł na temat analizy konkurencyjnego charakteru branży. Proces ten nazywamy teraz analizą pięciu sił Portera . Możemy użyć poniższego diagramu, aby zwizualizować zestaw punktów nacisku na dowolnym rynku.

OpenAI pobiera skromne 20 USD miesięcznie za dostęp premium do ChatGPT. Dostępna jest również darmowa wersja z ponad 100 milionami użytkowników . OpenAI wykorzystuje tych użytkowników jako metodę uzyskiwania informacji zwrotnych i ulepszania ich modeli.

Kiedy obiektywnie spojrzymy na ChatGPT, tak naprawdę nie ma innego publicznie dostępnego narzędzia, które zbliżyłoby się do jego możliwości. Chociaż interfejs użytkownika jest prymitywny, jakość generowanego tekstu jest oszałamiająca w porównaniu z jego rywalami. To jedyny model, który jest tak ogólny i ma tak wiele różnych zastosowań .

W tej chwili możemy umieścić OpenAI tylko w generatywnym kręgu sztucznej inteligencji powyżej. Ale to się zmieni i zrozumiemy, dlaczego Microsoft zainwestował 10 miliardów dolarów w OpenAI.

W tej analizie zignorujemy siłę przetargową kupujących, ponieważ nie ma konkurencji. Siłą przetargową dostawców jest sprzęt GPU NIVIDA w Microsoft Azure oraz twórcy oprogramowania w ramach OpenAI. Na dłuższą metę nie można ich ignorować, ale na razie wystarczy pieniędzy na zakup sprzętu i opłacenie programistów OpenAI. To pozostawia jedną siłę, którą musimy wziąć pod uwagę: zagrożenia ze strony nowych uczestników. Istnieją groźby zastąpienia ChatGPT, takie jak korzystanie z wyszukiwarki lub czytanie książek w celu znalezienia informacji. Żadna z tych opcji nie jest atrakcyjna.

Zagrożenia ze strony nowych uczestników

Patrząc na powyższy diagram, górna siła nazywana jest Zagrożeniem ze strony nowych uczestników . Składa się z innych dużych firm technologicznych, które są już głęboko zaangażowane w obszar dużych modeli językowych. To zawiera:

1. Google — którzy mają wiedzę na temat wyszukiwania i informacji zwrotnych, aby budować nowe modele
2. Amazon — ma duże zespoły ludzi pracujących nad uczeniem maszynowym w celu promowania swoich usług w chmurze w celu szkolenia modeli wielojęzycznych
3. Meta — gdzie Facebook gromadzi około 50 000 faktów o użytkownikach, które można wykorzystać do szczegółowego przewidywania, jakie reklamy mogą kliknąć
4. HuggingFace — ułatwia programistom dostęp do 100 000 modeli i dostrajanie ich za pomocą szybkich i łatwych aplikacji Spaces.

OpenAI ma znaczną przewagę. OpenAI po raz pierwszy opublikował swój dokument GPT 11 czerwca 2018 r . Następnie 14 lutego 2019 r. pojawił się GPT-2, który miał 1,5 miliarda parametrów. Następnie 11 czerwca 2020 r. nastąpił przełomowy GPT-3, który osiągnął niewiarygodną liczbę 175 miliardów parametrów. Wyniki te były imponujące, ponieważ jakość tekstu generowanego przez GPT-3 była niesamowita. OpenAI nie zwalnia jednak tempa. Dodali modele, które dostroiły podstawowy model GPT-3 z lepszym wykrywaniem intencji instruktażowych, a także zintegrowali inny model przeszkolony w oprogramowaniu o nazwie Codex.

Za każdym razem, gdy użytkownik daje kciuk w górę lub w dół, jest więcej danych do ulepszenia modeli OpenAI. Po całej tej pracy zastosowali kolejną warstwę oprogramowania o nazwie Reinforcement Learning with Human Feedback lub RLHF. RLHF jest nadal używany dla tych 100 milionów użytkowników.

Trzy bariery wejścia dla asystentów poznawczych

Oto trzy główne czynniki, które powstrzymują nowych uczestników przed dołączeniem do walki o ukończenie ChatGPT.

1. Talent AI — Czy masz personel, który głęboko docenia NLP i duże modele językowe? Czy dobrze rozumieją reprezentację wiedzy w danych Twojej organizacji? Czy Twoja organizacja może zatrudnić i zatrzymać ten talent w rozpalonej do czerwoności branży?
2. Koszty sprzętu szkoleniowego — Czy Twoja organizacja ma dostęp do tysięcy GPU/TPU/IPU lub HBU do trenowania i dostrajania modeli wielojęzycznych?
3. Informacje zwrotne — Czy masz setki tysięcy użytkowników, którzy chcą przekazać Ci opinie? OpenAI ma obecnie ponad 100 milionów użytkowników i oczekuje się, że liczba ta wzrośnie, ponieważ udoskonalają swoje modele dzięki tym opiniom.

Zastosuj myślenie systemowe

Kiedy zastosujemy zasady myślenia systemowego do tego problemu, zobaczymy diagram pętli przyczynowej (CLD) z pozytywnym cyklem wzmacniania. Wygląda to następująco:

Ten mały CLD można wyjaśnić, opisując zależności:

1. Data to Model — wykorzystujemy dane do budowania trybów uczenia maszynowego.
2. Model to Prediction — wykorzystujemy modele uczenia maszynowego do przewidywania przyszłości na podstawie wcześniejszej wiedzy.
3. Prognozy umożliwiają informacje zwrotne — kiedy będziemy w stanie dokonać dość dobrych prognoz, ludzie przekażą nam informacje zwrotne.
4. Informacje zwrotne to dane — możemy wykorzystać informacje zwrotne jako nowe dane do ulepszania naszych modeli.

Możesz dowiedzieć się więcej o roli myślenia systemowego z blogów The God Graph i Systems Thinking for Knowledge Management .

Koło zamachowe AI z ludzkimi opiniami

Powyższy rysunek to klasyczne „koło zamachowe AI”, które opisuje, w jaki sposób organizacje zbierają dane, budują modele predykcyjne, dokonują prognoz i wykorzystują informacje zwrotne od ludzi, aby gromadzić więcej danych w celu tworzenia lepszych prognoz. Używam tego modelu na prawie każdym kursie KR i AI, który prowadzę, ponieważ ma on fundamentalne znaczenie dla zrozumienia, w jaki sposób firmy będą wykorzystywać informacje zwrotne do tworzenia nowych asystentów poznawczych.

Zmodyfikowałem tradycyjną uproszczoną 4-komponentową pętlę (dane, model, prognoza, informacja zwrotna), aby dodać kilka szczegółów. Istnieją dwie podstawowe cechy diagramu, na których chcemy się skupić.

Po pierwsze, chcemy się upewnić, że wszyscy rozumieją, że opinie są kontekstowe. Nie tylko chcesz wiedzieć, że informacja zwrotna pochodzi od człowieka, ale chcesz poznać kontekst tej osoby w jej środowisku. Jeśli jest to opinia dotycząca sugestii dotyczącej kodowania, chcesz wiedzieć, czy jest to starszy czy młodszy programista. Jeśli jest to informacja zwrotna na temat wygenerowanego listu, chcesz wiedzieć, czy czytelnik jest ekspertem w danej dziedzinie, czy nowicjuszem. Kontekst jest wszystkim, więc jeśli nie korzystasz z wykresu wiedzy, odrzucasz większość informacji o człowieku przekazującym ci informacje zwrotne.

Drugim jest zrozumienie, że nie będziesz zbierać informacji od ludzi, chyba że zapewnisz im wartość. Oznacza to, że jeśli co najmniej 1/3 Twoich sugestii nie jest poprawna, użytkownik wyłączy Twoje sugestie. Są bardziej irytujące niż warte zachodu. Dlatego też, jeśli Twój model predykcyjny nie znajduje się na granicy 1/3, być może będziesz musiał zapłacić użytkownikom za przekazanie informacji zwrotnych. Dokładnie to musiały zrobić firmy takie jak OpenAI przed wprowadzeniem produktu na rynek. Kiedy ludzie zaczęli z niego korzystać (za darmo), zaczął napływać strumień opinii. Z każdym kliknięciem fosa wokół ChatGPT się poszerza.

Wniosek

Podsumowując, sprzężenie zwrotne i uczenie się wzmacniające powodują efekty sieciowe, które będą nadal konkurować z ogólnym rynkiem napędzanym przez ChatGPT dla ogólnych asystentów kognitywnych. Jeśli jesteś małą firmą, możesz nie mieć zasobów, aby konkurować w tej dziedzinie. To wciąż pozostawia małym firmom wiele możliwości budowania asystentów kognitywnych, którzy pracują w wąskich dyscyplinach, z dostępem do specjalistycznych danych i wolontariuszy, którzy pomagają im dopracować ich prognozy. Wreszcie, małe startupy powinny rozważyć systemy licencjonowania, takie jak modele OpenAI GPT-3 davinci i zintegrować je z produktami.