„ Ojciec chrzestny AI opuszcza Google i ostrzega przed nadchodzącym niebezpieczeństwem ”, to tytuł New York Timesa. Skąd możemy wiedzieć, czy LM są zagrożeniem dla ludzkości, jeśli nie są open-source? Co właściwie się dzieje? Jak świat modeli językowych stoi u progu zmiany.

Wezwanie do krucjaty open source

Jakiś czas temu GPT-4 został ujawniony opinii publicznej i myślę, że wszyscy poszliśmy przeczytać raport techniczny i byliśmy rozczarowani.

Niedawno Nature również poruszyło ten problem : potrzebujemy dużych modeli językowych (LLM), aby były otwarte.

Wiele LLM jest zastrzeżonych, nie wydanych i nie wiemy, na jakich danych zostały przeszkolone. To nie pozwala na ich kontrolę i testowanie pod kątem ograniczeń, zwłaszcza w odniesieniu do stronniczości.

Ponadto udostępnianie informacji i kodu za pomocą ChatGPT wiąże się z ryzykiem wycieku, jak odkrył Samsung . Nie wspominając o tym, że niektóre stany uważają, że przechowywanie danych przez te firmy narusza RODO .

Dlatego potrzebujemy, aby LLM były open-source i powinno być więcej inwestycji w rozwój nowych LLM, takich jak konsorcjum BLOOM (LLM o parametrach 170 B, który został opracowany przez konsorcjum akademickie).

W ostatnich miesiącach często dochodziło do sensacji, zarówno na temat rzeczywistych możliwości tych LLM, jak i zagrożeń związanych ze sztuczną inteligencją. Jeśli badacze nie mogą przetestować modeli, nie mogą naprawdę ocenić ich możliwości, a to samo dotyczy analizy ryzyka. Ponadto model open source jest znacznie bardziej przejrzysty, a społeczność może również spróbować zidentyfikować źródło problematycznych zachowań.

Co więcej, nie jest to żądanie środowiska akademickiego, instytucje są zaniepokojone sztuczną inteligencją. Unia Europejska dyskutuje obecnie nad unijnym aktem AI, który może zmienić przyszłość LLM. Jednocześnie Biały Dom naciska na dyrektora generalnego ds. Technologii, aby ograniczył ryzyko związane ze sztuczną inteligencją. Zatem open source może być w rzeczywistości przyszłym wymaganiem dla modeli językowych.

Dlaczego ChatGPT jest taki dobry?

Wszyscy słyszeliśmy o ChatGPT io tym, jak wydawało się to rewolucyjne. Ale jak to było trenowane?

Wszystko oprócz wszystkiego, co musisz wiedzieć o ChatGPT

Zacznijmy od tego, że ChatGPT został przeszkolony na bazie LLM (dokładnie GPT 3.5). Zazwyczaj te modele językowe podobne do GPT są szkolone przy użyciu przewidywania następnego tokena w sekwencji (z sekwencji tokenów w model musi przewidzieć następny token w+1).

Typowym modelem jest transformator: składający się z kodera, który odbiera sygnał wejściowy jako sekwencję, oraz dekodera, który generuje sekwencję wyjściową. Sercem tego systemu jest samouważność wielogłowa , która pozwala modelce poznać kontekst i zależności między poszczególnymi częściami sekwencji.

GPT-3 został przeszkolony na tej zasadzie (podobnie jak inne modele z rodziny Generative Pre-training Transformer, GPT), tylko z dużo większą liczbą parametrów i znacznie większą ilością danych (570 GB danych i 176 B parametrów).

GPT3 ma ogromne możliwości, jednak jeśli chodzi o generowanie tekstu, często wywołuje halucynacje, brakuje mu przydatności, jest nie do zinterpretowania i często zawiera uprzedzenia. Oznacza to, że model nie jest zgodny z tym, czego oczekujemy od modelu, który generuje tekst jak człowiek

Jak uzyskać ChatGPT z GPT-3?

Proces ten nazywa się Reinforcement Learning from Human Feedback (RHLF) i został opisany przez autorów w tym artykule:

Tutaj opiszę to bardzo ogólnie i zwięźle. W szczególności składa się z trzech etapów:

1. Dostrajanie nadzorowane to pierwszy krok, w którym LLM jest dostrajany, aby nauczyć się nadzorowanej polityki (model bazowy lub model SFT).
2. Naśladując ludzkie preferencje , w tym kroku adnotatorzy muszą głosować na zestaw danych wyjściowych z modelu bazowego. Ten wyselekcjonowany zestaw danych służy do uczenia nowego modelu, modelu nagrody.
3. Proximal Policy Optimization (PPO) , tutaj model nagrody służy do dostrojenia modelu SFT i uzyskania modelu polityki

Autorzy wykorzystali jako model GPT-3.5, który został już dopracowany w kodzie programowania, co również wyjaśnia możliwości kodu ChatGPT.

Teraz ten krok nie jest jednak dokładnie skalowalny, ponieważ jest to uczenie nadzorowane. W każdym razie otrzymany w ten sposób model nie jest jeszcze wyrównany.

Adnotatorzy odnotowali szereg odpowiedzi z modelu SFT, w zależności od tego, jak pożądana jest taka odpowiedź (od najgorszej do najlepszej). Mamy teraz znacznie większy zbiór danych (10 x) i zapewniamy odpowiedzi modelu SFT na nowy model, który musi uszeregować w kolejności preferencji.

Na tym etapie model uczy się ogólnej polityki dotyczącej danych i tego, jak zmaksymalizować nagrodę (kiedy jest w stanie dobrze uszeregować wyniki).

Mamy więc model SFT i używamy jego wag do zainicjowania nowego modelu PPO. Model ten jest dostrajany za pomocą Proximal Policy Optimization (PPO).

Innymi słowy, używamy algorytmu uczenia się przez wzmacnianie. Model PPO otrzymuje losowy monit i odpowiada na monit, po czym otrzymuje karę lub nagrodę. Zamiast klasycznego Q-learningu , tutaj polityka modelu jest aktualizowana dla każdej odpowiedzi (model uczy się bezpośrednio z doświadczenia, na podstawie polityki).

Ponadto autorzy stosują karę Kullbacka-Leiblera (KL) za token, aby rozkład odpowiedzi modelu był podobny do rozkładu modelu SFT. Dzieje się tak, ponieważ chcemy zoptymalizować model za pomocą RL (ze względu na model nagrody), ale nadal nie chcemy, aby zapomniał tego, czego nauczył się w kroku 1, czyli monitów wybranych przez ludzi.

Ostatecznie model jest oceniany pod kątem trzech aspektów: przydatności, prawdomówności i nieszkodliwości. W końcu to były dokładnie te aspekty, które chcieliśmy zoptymalizować.

Ciekawostką jest to, że model oceniany na podstawie klasycznych testów porównawczych (odpowiadanie na pytania, podsumowanie, klasyfikacja) ma niższą wydajność niż GPT-3. To jest koszt dostosowania.

Alpaka, rewolucyjne zwierzę

Jak wspomniano, istnieje realna potrzeba zbadania zachowania tych modeli i jest to możliwe tylko wtedy, gdy są one otwarte. Z drugiej strony dowolny LM można wyrównać za pomocą RHLF.

RHLF jest znacznie tańszy i bardziej wymagający obliczeniowo niż szkolenie modelu od podstaw. Z drugiej strony wymaga adnotatorów (rzeczywiście potrzebujesz zestawu danych z instrukcjami). Ale czy tych kroków nie można zautomatyzować?

Pierwszym krokiem był Self-instruct , w tym artykule z 2022 roku autorzy proponują metodę półautomatyczną. W rzeczywistości ogólną ideą jest rozpoczęcie od zestawu ręcznie napisanych instrukcji. Ten zestaw instrukcji służy zarówno jako zalążek, jak i jako pewność, że obejmuje większość zadań NLP .

Rozpoczynanie od zaledwie 175 instrukcji skłoniło model do wygenerowania zestawu danych (50 000 instrukcji). Zbiór danych został następnie wykorzystany do strojenia instrukcji.

Posiadanie metody wymagało jedynie modelu. ChatGPT jest oparty na OpenAI GPT-3.5, ale czy nie można użyć mniejszego modelu? Czy koniecznie potrzebuje więcej niż 100 parametrów B?

Zamiast tego naukowcy ze Stanford wykorzystali LLaMA, a konkretnie wersję 7B i instrukcje 52 K wygenerowane zgodnie z metodą self-instruct (instrukcje wygenerowane przy użyciu text-davinci-003 OpenAI). Prawdziwą wartością Alpaca jest to, że autorzy uprościli potok i znacznie obniżyli koszty w taki sposób, że każde laboratorium akademickie może powtórzyć proces (który znajduje się w tym repozytorium ). Jak w rzeczywistości stwierdzono:

W naszym początkowym okresie dopracowanie modelu 7B LLaMA zajęło 3 godziny na 8 A100 80 GB, co kosztuje mniej niż 100 USD u większości dostawców usług w chmurze. ( źródło )

Wstępna ocena modelu wykazała, że ​​Alpaca jest prawie dobra w GPT-3.5 (w niektórych przypadkach nawet ją przekracza). Może się to wydawać zaskakujące, biorąc pod uwagę, że jest to model 20-krotnie mniejszy. Z drugiej strony model zachowywał się jak GPT w serii danych wejściowych (więc trening działa jak swego rodzaju destylacja wiedzy). Z drugiej strony model ma takie same ograniczenia jak typowe modele językowe, pokazując halucynacje, toksyczność i stereotypy.

Następnie Alpaca pokazuje, że każde laboratorium akademickie może trenować własną wersję ChatGPT (przy użyciu LLaMA , która jest dostępna tylko do celów badawczych). Z drugiej strony każda firma korzystająca z innego modelu może dostosować i stworzyć własną wersję ChatGPT. Ponadto podobne modele nadal można by nawet wdrażać w telefonach komórkowych lub komputerach Raspberry Pi .

Autorzy opublikowali demo, które jednak po krótkim czasie zostało zamknięte (ze względów bezpieczeństwa). Ponadto, chociaż trzeba było złożyć wniosek o korzystanie z LLaMA (i uzyskać dostęp do wag modeli), kilka dni później model wyciekł do sieci .

Czy LLM są na granicy rewolucji?

Wygląda na to, że minęły lata od wydania ChatGPT, ale zamiast tego minęło tylko kilka miesięcy. Do tego czasu mówiliśmy o prawie potęgowym, o tym, jak konieczne jest, aby model miał więcej parametrów, więcej danych i więcej szkoleń, aby umożliwić pochodzenie wyłaniających się zachowań.

Pomysły te doprowadziły do ​​pomysłu, że możemy zdefiniować coś w rodzaju prawa Moore'a dla modeli językowych. W pewnym sensie w ostatnich latach widzieliśmy niemal wykładnicze prawo (przeszliśmy od parametrów 1,5 B dla GPT-2 do 175 B dla GPT-3).

Co się zmieniło?

Pierwszy cios zadany tej doktrynie można by nazwać przybyciem szynszyli . Model DeepMind pokazał, że to nie tylko kwestia ilości danych, ale także ich jakości. Po drugie, META LLaMA pokazała, że ​​nawet mniejsze modele wykorzystujące wyselekcjonowany zestaw danych mogą osiągnąć podobne, jeśli nie lepsze wyniki, niż duże modele.

To nie jest tylko kwestia modeli. Dane to inna kwestia. Ludzie nie produkują wystarczającej ilości danych, prawdopodobnie za mało danych, aby wesprzeć jakikolwiek GPT-5 zgodnie z wymogami prawa energetycznego. Po drugie, dane nie będą tak dostępne jak wcześniej.

W rzeczywistości Reddit (popularne źródło danych) ogłosił, że programiści AI będą musieli zapłacić za dostęp do jego treści. Nawet Wikipedia myślała tak samo , a teraz StackOverflow porusza się w ten sam sposób, będzie wymagać od firm płacenia.

„Platformy społecznościowe, które napędzają LLM, bezwzględnie powinny otrzymać rekompensatę za ich wkład, aby firmy takie jak my mogły ponownie inwestować w nasze społeczności, aby nadal mogły się rozwijać”, mówi Chandrasekar ze Stack Overflow. „Bardzo popieramy podejście Reddita”. ( źródło )

A nawet jeśli uda się zdobyć dane, może to nie być bezpieczne dla firmy. Getty pozwał generator grafiki AI , ale sami artyści również złożyli pozwy. Nie wspominając o tym, że programiści zrobili to samo z GitHub Copilot , który został przeszkolony z kodu w repozytoriach. Ponadto przemysł muzyczny (notorycznie sporny) wypowiadał się przeciwko muzyce generowanej przez sztuczną inteligencję i nalegał na usługi przesyłania strumieniowego. Nawet jeśli firmy zajmujące się sztuczną inteligencją odwołują się do zasad dozwolonego użytku , to bynajmniej nie jest pewne, że w przyszłości będą miały taki sam dostęp do danych.

Jest jeszcze jeden czynnik do rozważenia, oprócz rozszerzenia modeli o heteromodalność, architektura transformatora nie zmieniła się od 2017 roku. Wszystkie modele językowe opierają się na dogmacie, że potrzebna jest tylko wielogłowa samouwaga i nic więcej. Do niedawna Sam Altman był przekonany, że kluczem do AGI jest skalowalność architektury. Ale jak powiedział na niedawnym spotkaniu w MIT , kluczem do AGI nie jest więcej warstw i więcej parametrów.

Transformator ma określone ograniczenia, co znajduje odzwierciedlenie w LM: halucynacje, toksyczność i stronniczość. Nowoczesne LLM nie są zdolne do krytycznego myślenia. Techniki, takie jak łańcuch myśli i szybka inżynieria, służą jako łatki próbujące złagodzić problem.

Co więcej, wykazano, że samouważność wielogłowa jest w stanie rozwiązać problemy wynikające z RNN i umożliwić pojawienie się zachowań, ponieważ uczenie się w kontekście ma koszt kwadratowy. Ostatnio zauważono, że nie można zastąpić samouważności niekwadratowymi wariantami uwagi bez utraty wyrazistości. Jednak prace takie jak Spike-GPT i Hyena pokazują, że istnieją tańsze alternatywy nieoparte na samouwadze i pozwalają na porównywalne wyniki w konstruowaniu modeli językowych.

Również, jak pokazano, wyrównanie modelu przy użyciu RHLF ma koszt w odniesieniu do wydajności w różnych zadaniach. Dlatego LM nie zastąpią „modelu eksperckiego”, ale w przyszłości być może będą orkiestratorami innych modeli (jak sugeruje np. HuggingGPT ).

Nie możesz powstrzymać Open Source i dlaczego zawsze wygrywa

lepszy MidJourney czy DALL-E? trudno chyba powiedzieć. Pewne jest, że zwycięską technologią jest stabilna dyfuzja. Stabilna dyfuzja dzięki temu, że była open source, dała początek tak wielu zastosowaniom i była inspiracją dla tak wielu badań pochodnych (ControlNet, syntetyczne dane do obrazowania medycznego, podobieństwa do mózgu).

Dzięki pracy społeczności stabilna dystrybucja w różnych wersjach została ulepszona i istnieje nieskończona liczba odmian. Z drugiej strony nie ma aplikacji DALL-E, która nie miałaby odpowiednika opartego na stabilnej dyfuzji (ale jest odwrotnie).

Dlaczego więc to samo nie stało się z modelami językowymi?

Jak dotąd głównym problemem jest to, że szkolenie modelu językowego było przedsięwzięciem zaporowym. BLOOM firmy BigScience to rzeczywiście ogromne konsorcjum. Ale LLaMA pokazała, że ​​znacznie mniejsze modele mogą konkurować z potworami o parametrach przekraczających 100 B. Alpaca wykazała, że ​​wyrównanie LM można również wykonać niewielkim kosztem (całkowity koszt poniżej 1000 USD). To są elementy, które pozwoliły Simonowi Willsonowi powiedzieć: „ Duże modele językowe mają swój moment stabilnej dyfuzji. ”

Od Alpaca do dnia dzisiejszego pojawiło się wiele modeli o otwartym kodzie źródłowym . Stability AI nie tylko wypuściło szereg modeli , które są konkurencyjne dla gigantów i mogą być używane przez wszystkich, ale inne firmy również wypuściły chatboty i modele. W ciągu zaledwie kilku tygodni widzieliśmy: Dolly , HuggingChat , Koala i wiele innych

Teraz niektóre z wymienionych modeli są tak otwarte, ale są przeznaczone do użytku niekomercyjnego. chociaż są otwarte na badania akademickie, oznacza to, że nie mogą być wykorzystywane przez zainteresowane firmy.

To tylko część historii. W rzeczywistości istnieją już modele na HuggingFace, które można łatwo trenować (modele, zestawy danych i potoki), a do tej pory dostępnych jest kilka modeli (do tej pory ponad 10 ) :

Model open source, prywatne dane i nowe aplikacje

Dario Amodei, dyrektor generalny Anthropic, szuka miliardów , aby pokonać OpenAI w większym modelu świata. Jednak reszta świata zmierza w innym kierunku. Na przykład Bloomberg, który nie jest znanym graczem w AI, wydał LLM dla finansów (wyszkolony na 363 miliardach tokenów ze źródeł finansowania).

Dlaczego chcemy LLM dla finansów? Dlaczego nie używać tylko ChatGPT?

Google MedPalm wykazało, że ogólny model ma słabą wydajność w porównaniu z modelem, który jest precyzyjnie dostrojony do określonego tematu (w tym przypadku były to zbiory danych artykułów medycznych, naukowych itp.).

Dostrajanie LLM jest oczywiście drogie. Zwłaszcza jeśli mówimy o modelach z setkami miliardów parametrów. Mniejsze modele są znacznie tańsze, ale nadal nie są obojętne. META LLaMA z otwartym kodem źródłowym częściowo rozwiązała ten problem. W rzeczywistości autorzy LLaMA-Adapter wykazali, że wystarczy dodać tylko 1,2 miliona parametrów, aby dokonać dostrajania (trening trwał mniej niż godzinę).

Chociaż prawdą jest, że LLaMA nie jest dostępna na rynku, dostępnych jest wiele innych modeli (od małych do dużych). To, co oczywiście umożliwi pomyślną aplikację w danej dziedzinie, to dane.

Jak nieprzyjemnie odkrył Samsung , korzystanie z ChatGPT w firmie jest ryzykowne. Nawet jeśli ChatGPT pozwala teraz ludziom wyłączyć historię czatów lub odmówić wykorzystania ich danych do trenowania modelu, firmy uznają, że udostępnianie swoich danych jest ryzykowne.

Wiele firm rozważy możliwość wyszkolenia własnego chatbota, modelu, który jest precyzyjnie dostrojony do własnych danych firmowych i pozostanie wewnętrzny. W końcu technologia jest dostępna i przystępna cenowo nawet dla firm o niewielkich budżetach. Co więcej, niski koszt pozwala im na regularne dostrajanie w miarę napływu nowych danych lub w przypadku wydania lepszego modelu open source. Firmy, które teraz mają dane, będą znacznie mniej chętne do ich udzielania.

Ponadto przekonaliśmy się, jak ważne jest posiadanie wysokiej jakości danych. Dane w medycynie i wielu innych dziedzinach są trudne do zebrania (drogie, regulowane, rzadkie), a firmy, które je posiadają, mają przewagę. OpenAI może wydać miliardy próbując zebrać na przykład dane medyczne, ale poza kosztami rekrutacja pacjentów wymaga lat i ustalonej sieci (której nie ma). Firmy, które mają teraz dane, będą bardziej restrykcyjne w udostępnianiu tych danych modelom, które mogą przechowywać to, co są narażone.

Ponadto prace takie jak HuggingGPT i AudioGPT pokazują, że LLM jest interfejsem użytkownika do interakcji z modelami eksperckimi (przetwarzanie tekstu na obraz, model audio i wiele innych). W ostatnich latach wiele firm zatrudniło analityków danych i opracowało różne wyspecjalizowane modele dla swoich potrzeb (modele firm farmaceutycznych do odkrywania i projektowania leków, firmy produkcyjne do projektowania komponentów i konserwacji predykcyjnej itd.). W ten sposób analitycy danych mogą teraz instruować LLM, aby łączyli się z wcześniej wyszkolonymi modelami i umożliwiali wewnętrznym użytkownikom nietechnicznym interakcję z nimi za pomocą monitów tekstowych.

Jest jeszcze jeden element, który wskazuje na taki scenariusz, niejasne są przepisy dotyczące generatywnej sztucznej inteligencji (np. Google nie udostępnił swojego generatywnego modelu muzycznego w obawie przed naruszeniem praw autorskich). Oprócz kwestii praw autorskich otwarte pozostają kwestie odpowiedzialności. Dlatego wiele firm może zinternalizować tę technologię i stworzyć własnego asystenta AI w nadchodzących miesiącach.

Rozstania myśli

Dr Hinton powiedział, że kiedy ludzie pytali go, jak mógłby pracować nad technologią, która jest potencjalnie niebezpieczna, parafrazował Roberta Oppenheimera, który przewodził amerykańskim wysiłkom mającym na celu zbudowanie bomby atomowej: „Kiedy widzisz coś, co jest technicznie słodkie, idź i zrób to”.

Już tak nie mówi. ( źródło )

Hinton niedawno stwierdził, że musimy omówić zagrożenia związane ze sztuczną inteligencją. Ale nie możemy badać ryzyka wybuchu bomby, jeśli znajduje się ona w czarnej skrzynce. Dlatego coraz pilniejsze jest, aby modele były open source.

LLM i tak są w fazie zmian. Tworzenie coraz większych modeli jest niezrównoważone i nie daje takiej samej przewagi jak kiedyś. Przyszłość kolejnych LLM będzie leżała w danych i prawdopodobnie w nowych architekturach, które nie będą już opierać się na samouwadze.

Jednak dane nie będą już tak dostępne jak kiedyś; firmy zaczynają blokować do niego dostęp. Microsoft twierdzi, że jest gotów zezwolić firmom na tworzenie własnych wersji ChatGPT. Ale firmy będą sceptyczne.

Niektóre firmy boją się o swój biznes (wydaje się, że ChatGPT ma już swoją pierwszą ofiarę ), a inne boją się wycieku danych. Albo po prostu technologia jest wreszcie w zasięgu niemal wszystkich firm i każda stworzy chatbota dopasowanego do swoich potrzeb.

Podsumowując, możemy zaobserwować różne trendy (które po części już się dzieją):

• Rosnący strach przed sztuczną inteligencją naciska na modele open source
• Prowadzi to do coraz częstszej publikacji modeli LLM typu open source. Co z kolei pokazuje, że można zastosować mniejsze modele i obniżyć koszty ich wyrównania.
• Modele LLM stanowią zagrożenie dla różnych firm, a firmy obawiają się, że modele te mogą zagrozić ich działalności. W związku z tym różne firmy ograniczają dostęp do swoich danych lub żądają zapłaty od firm zajmujących się sztuczną inteligencją.
• Redukcja kosztów, strach przed konkurencją, nowe znaczenie zastrzeżonych danych oraz nowa dostępność modeli open source skłaniają firmy do szkolenia własnych chatbotów na własnych danych przy użyciu modeli open source.

Jeśli uznałeś to za interesujące:

Możesz szukać innych moich artykułów, możesz także zapisać się , aby otrzymywać powiadomienia, gdy opublikuję artykuły, możesz zostać członkiem Medium , aby uzyskać dostęp do wszystkich jego historii (linki partnerskie platformy, z których otrzymuję niewielkie dochody bez żadnych kosztów) i ty może również połączyć się ze mną lub skontaktować się ze mną na LinkedIn .

Oto link do mojego repozytorium GitHub, w którym planuję gromadzić kod i wiele zasobów związanych z uczeniem maszynowym, sztuczną inteligencją i nie tylko.

lub może zainteresuje Cię jeden z moich ostatnich artykułów: