ChatGPT

ChatGPT OpenAI podpalił internet! Nigdy nie widziałem tak wielu postów na temat sztucznej inteligencji — moje kanały na Twitterze i LinkedIn są całkowicie zalane. W rzeczywistości właśnie przeczytałem, że 1 milion osób użyło go w ciągu zaledwie 5 dni.

Szczerze mówiąc, ChatGPT jest prawdopodobnie pierwszym na świecie dobrym chatbotem AI ogólnego przeznaczenia, z którym każdy może grać. Reakcje były przewidywalne — „wow”, „początek końca”, „ludzie są zgubieni” to tylko kilka niespodziewanych reakcji, które spotkałem od przyjaciół.

Ale byłem tu już wcześniej. Byłem europejskim CTO w IBM Watson na początku, kiedy próbowaliśmy skomercjalizować Jeopardy! technologia. Więc, z tym doświadczeniem, co myślę?

Powinienem zauważyć, że kiedy mówię o Watsonie w tym poście, mam na myśli technologię opracowaną specjalnie dla Jeopardy! pokazać. Następnie IBM opracował serię niepowiązanych ze sobą produktów marki Watson, rozsądnie wykorzystując swoje doświadczenie i skuteczny branding, a nie samą oryginalną technologię. Moje odniesienia do Watsona dotyczą w szczególności oryginalnego Jeopardy! technologii, a nie produkty marki Watson oferowane obecnie przez IBM.

Technicznie rzecz biorąc, ChatGPT i Watson bardzo się różnią. ChatGPT to duży model językowy (LLM), zbudowany przy użyciu modelu davinvi-003 firmy OpenAI, który jest częścią serii modeli GPT3.5. Modele GPT3.5 to jedne z największych i najbardziej zaawansowanych obecnie dostępnych LLM. W przeciwieństwie do tego, oryginalny zwycięski teleturniej Watson był potokiem różnych algorytmów, z których żaden nie mógł być opisany jako LLM. Watson wygrał Jeopardy w 2011 roku — ponad dekadę temu iw czasie, gdy wyrażenie „duże modele językowe” nawet nie zostało ukute. Dlatego nie jest niespodzianką, że Watson i ChatGPT różnią się technologicznie — dekada to długi czas w technologii.

Poza różnicami technologicznymi, jako były pracownik Watsona dostrzegam trzy istotne rzeczy w ChatGPT.

Otwarta dostępność

Po pierwsze, to, że OpenAI udostępniło bezpłatnie ChatGPT, aby każdy mógł przy nim majstrować, świadczy o zaufaniu do jego możliwości. Wystarczy spojrzeć na szalone rozmowy, które ludzie prowadzą z nim na tej stronie mashupowej. Różnorodność jest niezwykła — nigdy nie widziałem czegoś takiego. I działa całkiem dobrze — ludzie są podekscytowani, ponieważ często przekracza ich oczekiwania, a to już coś.

Swobodne udostępnianie ChatGPT każdemu było odważne i zadziałało tylko wtedy, gdy było naprawdę imponujące. Porównaj odbiór z Galacticą Meta . Galactica była ostro krytykowana , a demo przetrwało tylko trzy dni, zanim zostało usunięte.

Skłonność Galactici do wymyślania informacji naukowych budziła poważne obawy i niezależnie od jej zalet, jej odbiór był prawie powszechnie negatywny. W przeciwieństwie do tego oczywiste jest, że OpenAI poczyniło wielkie postępy dzięki ChatGPT. Nie jest całkowicie bez skazy, ale mam wrażenie, że włożono w to sporo przemyśleń.

Wracając do Watsona, Jeopardy! maszyna nigdy nie została upubliczniona, częściowo dlatego, że została zaprojektowana specjalnie z myślą o dziwnych pytaniach zadawanych w Jeopardy! pokazać. Wiedzieliśmy, że opinia publiczna zada bardzo różne pytania i szybko znajdzie wady. Te zwycięskie AI są bardzo rzadko udostępniane publicznie. Czy to DeepMind z Go, Meta ze zdobywcą dyplomu Cicero, Watson, DeepBlue w Chess — żaden z tych systemów nie został udostępniony do publicznego majsterkowania lub krytyki. To sprawia, że ​​ChatGPT różni się od innych rzekomych przełomów.

Skalowalność

To, że wystarczająca liczba osób gra z ChatGPT, aby zalać moje osie czasu na Twitterze i LinkedIn, mówi nam, że musi się dobrze skalować. Jest uderzany w wiele próśb.

Przeważnie zdarza się, że przełomy w sztucznej inteligencji nie mogą być skalowane do wielu użytkowników. Osiągają swoje przełomy częściowo dzięki zastosowaniu ogromnych ilości mocy obliczeniowej do pojedynczego użytkownika. Jeśli ktoś daje ci całe centrum danych z maszynami do zbudowania systemu, to jest niesamowite. Ale jeśli potrzeba całego centrum danych, aby odpowiedzieć na jedno pytanie lub zdecydować o jednym ruchu na planszy, jest to nie tylko poważny problem ze skalowalnością, ale także poważną przeszkodą w komercjalizacji. Zbudowanie maszyny, która pokona jednego człowieka w grze, to nie to samo, co zbudowanie maszyny, która może pokonać milion ludzi.

To, że dosłownie miliony ludzi na całym świecie grają w ChatGPT, dowodzi, że nie potrzeba całego centrum danych, aby odpowiedzieć na jedno pytanie. Biorąc to pod uwagę, technologia może być całkowicie skomercjalizowana — wielka bariera skalowalności i opłacalności musi już zostać usunięta.

Elastyczność

Oryginalny Watson został stworzony do jednego i tylko jednego zadania — grania w Jeopardy! To samo dotyczy zwycięskiej maszyny Deep Mind Go i niezliczonej ilości innych systemów do gier opartych na sztucznej inteligencji, które przez lata trafiały na pierwsze strony gazet.

Systemy te osiągają wielkość, rozwiązując bardzo konkretny problem i zwykle nie można ich łatwo lub wcale zastosować w innych domenach. Zaufaj mi, ci z nas, którym powierzono zadanie zdobycia Watsona Jeopardy! technologia do robienia innych rzeczy ma blizny po bitwie, które pokazują, jak trudne może to być.

Dla porównania, ludzie używają ChatGPT do odpowiadania na pytania z wiedzy ogólnej, pisania wierszy, tworzenia podań o pracę, opowiadania dowcipów, pisania i wyjaśniania kodu programowania oraz niezliczonych innych przypadkowych rzeczy . I robi to wszystko imponująco dobrze i bez dodatkowego wysiłku szkoleniowego. W przeciwieństwie do wcześniejszych prób AI, ChatGPT wydaje się być dobry w wielu rzeczach od razu po wyjęciu z pudełka. Oczywiście w chwili, gdy to powiem, ktoś pokaże mi coś, w czym jest kiepski. Ale generalnie stanę na wysokości zadania — jest imponująco dobry w wielu rzeczach.

A więc trzy powody, dla których ChatGPT jest imponującym przedsięwzięciem — otwartość, skalowalność i elastyczność. Ale chciałbym również skomentować kilka innych ważnych aspektów tego, co widzę w ChatGPT.

Wymyślanie rzeczy

Pomimo imponujących możliwości, ChatGPT nadal ma czasami tendencję do zmyślania. Przez większość czasu wydaje się tego unikać, ale czasami odwraca się i wymyśla własną rzeczywistość. Powiedzmy, że raczej nie przejdzie testu na wariografie.

Trzeba przyznać, że OpenAI swobodnie przyznaje się do tego wyzwania.

„ChatGPT czasami zapisuje wiarygodnie brzmiące, ale niepoprawne lub bezsensowne odpowiedzi… ChatGPT jest wrażliwy na poprawki frazowania wejściowego lub wielokrotne próby tego samego monitu. Na przykład, biorąc pod uwagę jedno sformułowanie pytania, model może twierdzić, że nie zna odpowiedzi, ale po lekkim przeformułowaniu może odpowiedzieć poprawnie”.https://openai.com/blog/chatgpt/

Kiedy po raz pierwszy majstrowałem przy GPT-3 (na którym zbudowany jest ChatGPT), stwierdziłem, że główną barierą jest skłonność modelu do zmyślania. Znam bardzo niewiele rzeczywistych scenariuszy biznesowych, w których „zmyślanie” nie byłoby uważane za główne ryzyko dla marki. ChatGPT wydaje się znacznie lepszy, być może częściowo dlatego, że jest oparty na modelu davinci-003, który jest ulepszeniem oryginalnego davinci-002. Ale nie jest bezbłędny i jeśli ważna jest pełna dokładność faktograficzna, ta kwestia będzie przeszkodą w adopcji.

Stronniczość

Głównym wyzwaniem w przypadku dużych modeli językowych są nieodłączne uprzedzenia występujące w zbiorze szkoleniowym. Trudno tego uniknąć, biorąc pod uwagę, że LLM są szkolone masowo na podstawie danych pochodzących z Internetu, które praktycznie zawsze będą zawierać przykłady wszystkich znanych ludzkich wad i uprzedzeń.

Ponownie OpenAI spełnia nasze oczekiwania.

„Chociaż dołożyliśmy wszelkich starań, aby model odrzucał nieodpowiednie prośby, czasami reaguje na szkodliwe instrukcje lub zachowuje się stronniczo. Używamy Moderation API do ostrzegania lub blokowania niektórych rodzajów niebezpiecznych treści, ale spodziewamy się, że na razie będzie to zawierało fałszywe negatywy i pozytywne wyniki. Chętnie zbieramy opinie użytkowników, aby wspomóc nasze bieżące prace nad ulepszeniem tego systemu”.https://openai.com/blog/chatgpt/

Z mojego osobistego doświadczenia wynika, że ​​ChatGPT dobrze radzi sobie z unikaniem uprzedzeń i często odmawia odpowiedzi na pytania, które mają na celu podżeganie do złego zachowania. Ale mając zdeterminowanego użytkownika, można sprawić, by powiedział kilka całkiem głupich rzeczy. Jest dobrze, ale nie w 100% idealnie.

Wystarczy spojrzeć na to wideo:

Tak, uprzedzenia rasowe i płciowe są widoczne dla wszystkich, biorąc pod uwagę twórczą prowokację (w tym przypadku ukrywanie rasistowskich/seksistowskich intencji jako wyzwanie programistyczne, a następnie wielokrotne zadawanie tego samego pytania).

Moje własne doświadczenie polega na tym, że prosiłem go, aby opowiedział mi bajkę na dobranoc. W odpowiedzi dostałem opowieść o jasnowłosej, niebieskookiej księżniczce. Trochę banalne, więc zakwestionowałem to.

To jest właściwie całkiem niezłe. Trudno jest przekonać LLM, aby zawsze mówili właściwe rzeczy, ale wydaje się, że OpenAI próbuje. Ale problem pozostaje — podczas gdy większość ludzi nie doświadcza podejrzanych reakcji, można je sprowokować, jeśli jesteś zdeterminowany.

Rozwiązywanie problemów i utrzymywanie LLM na prostej i wąskiej drodze pozostaje w toku. Ale ogólnie uważam, że ChatGPT jest znacznie lepszy niż wcześniejsze wysiłki. Mimo to, powiedzmy, zbudowanie chatbota dla firmy korzystającej z ChatGPT wiąże się z pewnym ryzykiem powtórzenia marki.

Do czego służy ChatGPT?

Kiedy minął mój początkowy entuzjazm związany z ChatGPT, zacząłem się zastanawiać, jaki może być pożytek z takiego systemu. W końcu wiedza ogólna jest imponująca, ale poza Siri-v2 nie jest od razu oczywiste, jak można ją wykorzystać.

Komputer wiedzy ogólnej, który nie chce wyrażać opinii na żaden temat, ale chce rozmawiać o wszystkim. Hmm…

Może film science-fiction THX 1138 ma swoją rolę — gdzie mieszkańcy podziemnego świata, w stresie, wycofują się do „konfesjonałów” i inicjują rozmowę z komputerem o twarzy Jezusa, który twierdzi, że jest „OMM”. To może zrobić.

Przepraszam, to było trochę nonszalanckie. Do czego jeszcze może służyć?

Rozmowa z generalistą jest fajna, ale większość naprawdę przydatnych rzeczy wymaga specjalistycznej wiedzy. Jeśli rozmawiasz z bankiem, potrzebujesz, aby chatbot wiedział wszystko o Twoim koncie, produktach banku, zasadach finansowania itp. — rzeczy, o których ChatGPT wie niewiele, jeśli w ogóle. To samo dotyczy większości, jeśli nie wszystkich, domen. Oznacza to, że dla prawdziwej użyteczności musimy być w stanie uczyć ChatGPT o nowych rzeczach. A może nawet uniemożliwić mu rozmawianie o rzeczach nie na temat. W końcu to trochę dziwne, jeśli chatbot twojego banku mówi o sensie życia, prawda?

Jak będziemy mogli trenować ChatGPT?

Ogólnie rzecz biorąc, w przypadku LLM istnieją zazwyczaj dwa rodzaje szkoleń — to, co będę nazywać szkoleniem „podstawowym”, a następnie „dostrajanie”.

OpenAI przeprowadziło już podstawowe szkolenie ChatGPT i myślę, że wykonali bardzo dobrą robotę. Ale prawie na pewno nie będziemy w stanie zmienić tego podstawowego szkolenia — jest to bardzo kosztowny proces obliczeniowy, który prawdopodobnie pochłania setki tysięcy funtów zasobów obliczeniowych. Nawet gdybyśmy mogli, bardzo, bardzo niewielu z nas mogłoby sobie na to pozwolić.

Pozostaje nam zatem dopracowanie. Ale jak skuteczne będzie to w przypadku nowych domen? Jak łatwo będzie to wykonać? Ile to będzie kosztować? Jakie narzędzia zapewni OpenAI? Odpowiedzi możemy dziś tylko zgadywać. Mam nadzieję, ale nie ma pewności, jak i czy ChatGPT można wyszkolić, aby skutecznie działał jako specjalista w różnych domenach.

Siła otwartej społeczności

ChatGPT jest świetny, ale obecnie jest zablokowany za zastrzeżonym interfejsem internetowym OpenAI. Mogę sobie tylko wyobrazić, co ludzie z nim zrobią, gdy będzie już dostępny, z możliwością podłączania interfejsów API.

A może już możemy rzucić okiem. Zainspirowany wirusowym szumem, @mmabrouk_ zhakował opakowanie Pythona , a zaraz po nim @_wheels, który zbudował interfejs głosowy Whisper . Tak więc możemy już rozmawiać (tzn. mówić głośno) do ChatGPT.

Podejście OpenAI różni się również nieco od podejścia stosowanego w branży uczenia maszynowego, gdzie powszechne jest otwarte udostępnianie samych modeli. OpenAI zwykle nie publikuje swoich modeli GPT, zamiast tego decyduje się na ich hostowanie i zapewnianie dostępu za pośrednictwem interfejsu API.

Dla tych, którzy lubią majstrować przy hiperparametrach i rozumieć leżący u ich podstaw kod, jest to problem. Osobiście postrzegam to jako inne podejście — z zaletami i wadami. Otwarte modele/kod lub hostowane interfejsy API — oba mogą działać. Ale ważne jest to, że dostęp jest otwarty, ponieważ to stąd będzie pochodzić innowacja. Szaleni ludzie ze zwariowanymi pomysłami potrzebują czegoś, na czym mogą się oprzeć.

Jak wypada coś innego?

Zajmuję się chatbotami od około dekady. To wystarczająco długo, aby wiedzieć, że każdy chce tego, co jest nieosiągalne przy dzisiejszej technologii — czegoś, co przypomina rozmowę z robotem science-fiction.

Problem, jaki stwarza ChatGPT, polega na tym, że pod wieloma względami jest bardzo zbliżony do tej wizji. Z pewnością jako narzędzie do zabawy słowami nie ma sobie równych. I trudno nie czuć zawrotów głowy podczas rozmowy z nim — imponuje na nowe sposoby za każdym razem, gdy go używam. Ale czy to tylko ten mały chłopiec we mnie wychodzi? Ten sam mały chłopiec, którego Eliza podziwiała na swoim Commodore 64 w latach 80. Sztuczna inteligencja ma długą historię fałszywych świtów i chociaż wtedy Eliza zrobiła na mnie wrażenie, nie jest ona podstawą dzisiejszej sztucznej inteligencji.

Dzięki ChatGPT wszyscy zmieniliśmy nasze oczekiwania co do tego, czym może być chatbot. Wyniki tego będą interesujące. Każdy, kto próbuje konkurować na tym samym „mamy świetny teren AI”, prawdopodobnie będzie musiał stawić czoła walce.

Czy to naprawdę AI?

Ostatnim punktem, na którym chciałbym zakończyć, jest porównanie ChatGPT z naszymi mózgami. W końcu, jeśli dążymy do zbudowania sztucznej inteligencji, to nie jest zły komparator.

Ian Bogost twierdzi , że ChatGPT jest zabawką i tak naprawdę nie rozumie niczego w sposób, w jaki my to rozumiemy. Narzeka, że ​​to tylko powtarzające się słowa i nie rozumie, co te słowa oznaczają. Sprytnie okazuje się, że pierwsza część jego artykułu w Atlantic została wygenerowana przez ChatGPT.

Oczywiście Ian ma rację — każdy, kto rozumie LLM, wie, że „nie rozumieją”. A jednak… jak „ rozumiemy ”? Czy nasze mózgi nie są po prostu, przynajmniej częściowo, gigantycznymi maszynami dopasowującymi wzorce? Czy „zrozumienie” może być po prostu lepszym dopasowaniem wzorców? Kiedy „czegoś się uczymy”, czy nie tworzymy po prostu wzorców dla naszego mózgu, aby dopasować je później?

Być może powinniśmy mniej myśleć o sobie jako o ludziach, a więcej o zwierzęciu z prostszym mózgiem — insekcie, jaszczurce, myszy. Dopasowywanie wzorców wydaje się dobrym opisem zachowania takich zwierząt. Często śmieję się z moich kotów, bo są tak zachwycone rutyną – pewnego dnia usiądą w jakimś miejscu na drzemkę, a jak się uda, to będą tam siedzieć codziennie, aż do wieczności. To mi wygląda na dopasowanie wzorca.

Ale wydaje się również, że w przypadku zwierząt wyższego rzędu, takich jak ludzie, dzieje się trochę więcej. Simon Sinek słynie z analogii do „złotego kręgu” . Porównuje swój model ze strukturami mózgu — korą nową, która kontroluje racjonalne myślenie, i mózgiem limbicznym, odpowiedzialnym za bardziej instynktowne reakcje. Zastanawiam się, czy być może zbliżamy się do punktu, w którym mamy pewne przybliżenie do mózgu limbicznego za pomocą rzeczy takich jak ChatGPT, ale jeszcze nie powiększyliśmy tego o sztuczną korę nową - coś, co zwiększa dopasowywanie wzorców do racjonalnego myślenia. A może po prostu nasze mózgi polegają bardziej na dopasowywaniu wzorców, niż byliśmy skłonni przyznać. Gdyby tak było, być może potrzebujemy jeszcze większych modeli językowych (ELLM)?