Ograniczenia Chat-GPT

Biorąc pod uwagę niedawny szum medialny dotyczący Chat-GPT przez OpenAI, byłem ciekawy, czy pasuje on do szumu. Jako ktoś, kto publikował badania dotyczące robotyki społecznej i konwersacyjnej sztucznej inteligencji, zbyt często w przeszłości widziałem przesadzone artykuły na ten temat. Chociaż rozumiem, że Chat-GPT nie jest ukończonym produktem i jest w dużej mierze w toku, myślę, że ważne jest krytyczne przeanalizowanie go, aby określić, gdzie brakuje mu technicznie, a także gdzie brakuje z punktu widzenia wygody użytkownika.

Bawiłem się więc Chat-GPT (wersja z 15 grudnia) i jako użytkownik uważam, że jest to dość imponujące, pomimo pewnych poważnych ograniczeń. Jego możliwości generatywne są całkiem przydatne. Powiedziawszy to, przechodząc przez wiele interakcji, zanotowałem ograniczenia i problemy, które zauważyłem. Te ograniczenia są dość łatwe do odtworzenia i uważam, że ich ulepszenie może sprawić, że aplikacja czatu GPT-3.5 będzie pasować do szumu, który obserwujemy w mediach.

Niektóre z problemów, które zauważyłem, mogą być problemami technicznymi, podczas gdy inne mogą dotyczyć doświadczenia użytkownika i możliwości chatbota. Wszystkie te kwestie są jednak istotne dla przyszłości chatbotów i interaktywnej sztucznej inteligencji.

Dostęp do Internetu i informacji o lokalizacji

Nie powinno to dziwić, ale OpenAI nie może uzyskać dostępu do Internetu. Nie może dostarczać informacji w czasie rzeczywistym i nie można korzystać z informacji opartych na lokalizacji, nie można podawać adresów URL ani odniesień do niczego w Internecie. Jak można sobie wyobrazić, poważnie ogranicza to funkcjonalność aplikacji i rodzaje usług, które może świadczyć. Powiedziawszy to, jeśli potrafi przeszukiwać sieć, wykracza poza to, czego można by oczekiwać od modelu językowego, więc to oczekiwanie na razie prawdopodobnie będzie nierealne, chyba że OpenAI wdroży jakąś formę nauki online, która konsekwentnie aktualizuje dane szkoleniowe, aby Chat -GPT jest zawsze aktualne.

Oprócz tego zapewnienie otwartego dostępu do Internetu dla dowolnej sztucznej inteligencji ma poważne konsekwencje, więc niedopuszczenie do korzystania z funkcji opartych na Internecie było prawdopodobnie celowym wyborem.

Jeśli chodzi o szum, jaki widzimy w mediach, gdzie może to dać Google szansę na zdobycie pieniędzy i obalenie wyszukiwania, istnieją wyraźne różnice między tego typu aplikacjami a wyszukiwarką. Wyszukiwarka wykorzystuje roboty indeksujące i ustala ranking stron. To nie. Ten chatbot nie jest sposobem na poruszanie się po Internecie, więc porównanie może bardzo przypominać porównywanie jabłek i pomarańczy.

Nieaktualne dane

Najnowsze dane treningowe pochodzą z września 2021 roku. Od tego czasu minął cały rok. Języki programowania mogły zostać zaktualizowane, biblioteki mogą mieć nowe funkcje, a świat się zmienił. Oznacza to, że Chat-GPT działa na nieaktualnym zestawie danych.

Wadliwa pamięć

Jedną rzeczą, którą próbowałem rzucić na Chat-GPT, było edytowanie i sugerowanie ulepszenia fragmentu tekstu. Zwykle jest to funkcjonalne, ale jeśli poproszę go o przeformułowanie niektórych sugestii lub rozwinięcie czegoś, może czasami błędnie założyć, że przedstawiłem sugestie i odniesie się do tekstu, którego nie było w oryginalnym utworze, który dostarczyłem do recenzji lub po prostu dostarczy prawie taki sam tekst, jak w przeszłości, z minimalnymi zmianami.

Nieumiejętność dokonywania ocen jakościowych

Język ma aspekty jakościowe, takie jak postawa i sentyment. Chociaż Chat-GPT jest w stanie określić te rzeczy, nie jest w stanie rozszerzyć tego na takie kwestie, jak to, czy tekst jest obraźliwy, co jest dobre, a co złe itp.

Tak jest prawdopodobnie najlepiej, ale czy nie byłoby miło, gdyby Chat-GPT mógł zajrzeć ci przez ramię i powiedzieć, żebyś nie wysyłał e-maili lub przeformułował coś, by było mniej ostre?

Brak multimodalnego wyjścia i wejścia

Model jest czysto tekstowy. Nie możesz dostarczać obrazów, adresów URL, dźwięku ani żadnego innego trybu wprowadzania. Podobnie nie może wyświetlać obrazów, adresów URL ani dźwięku. Może generować kod, który może generować te rzeczy, ale to nie to samo. Oznacza to, że z konwersacyjnego punktu widzenia jest to całkiem nieobecne. Nie jest w stanie odczytać mowy ciała ani zrozumieć pochodzenia kulturowego miejsca zamieszkania. Nie może użyć twojego wzroku do określenia twojego nastroju i nie jest w stanie cię uspokoić ani uspokoić na podstawie tego, jak się czujesz.

Ograniczenia długości wejściowej i długości wyjściowej

Nie da się nakarmić całej powieści tekstem. W przeciwnym razie odpowiedź i usunięcie błędu zajmie wieczność. Podobnie nie może wygenerować całej powieści. Udało mi się wypluć zły scenariusz, który nie był jednak bliski oczekiwanej długości scenariusza filmu pełnometrażowego.

Możliwe błędy w danych treningowych

Należy zauważyć, że chociaż Chat-GPT ma ograniczenia dotyczące tego, o czym może rozmawiać i do czego ma dostęp, podstawowe dane szkoleniowe mogą być stronnicze. Trudno powiedzieć, jak bardzo może być stronniczy, ale rzeczy takie jak nakłonienie go do generowania artykułów zawierających oszczerstwa są dość trudne. Wygląda na to, że Chat-GPT został przeszkolony w unikaniu stronniczości w wynikach, nawet jeśli dane wejściowe są stronnicze, ale nie jest to do końca jasne.

Wątpliwa obsługa języków

Próbowałem mieszać języki i rozmawiać w innych językach, które znałem. Odkryłem, że wsparcie może się znacznie różnić w zależności od używanego języka. Co ciekawe, zauważyłem, że niektóre problemy, które napotkałem w innych językach zaledwie kilka dni temu, zostały dziś ulepszone, więc w najbliższej przyszłości może to nie być problemem.

Dostateczne poczucie humoru

Chat-GPT ma dość kiepskie poczucie humoru, ponieważ nie może rozmawiać o dojrzałych rzeczach :(

Lubię dowcipy o tacie, ale niektóre z nich nie są aż tak zabawne.

Generic Output i plagiat

Próbowałem nakłonić Chat-GPT do stworzenia oryginalnego wiersza w stylu Williama Szekspira. Dostałem kawałek Frankensteina, który został zebrany przez połączenie fragmentów dzieł Szekspira w celu stworzenia sonetu, który nie był zgodny ze wszystkimi zasadami. Narzędzie do sprawdzania plagiatu prawdopodobnie oznaczyłoby to jako skopiowane i słusznie.

Próbowałem też wygenerować streszczenie fabuły filmu w stylu Christophera Nolana z elementami cyberpunkowymi i otrzymałem połączenie Matrixa z Neuromancerem. W innych streszczeniach fabularnych zauważyłem pewne wspólne elementy, które zawsze pojawiają się na wejściu, takie jak „bunty” i „detektywi”.

Nie trzeba dodawać, że Chat-GPT raczej nie stworzy interesujących lokali ani nagradzanych historii w krótkim okresie.

Brak dojrzałych obszarów tematycznych

Nie będziesz generować żadnych wilgotnych memów z tym w najbliższym czasie.

Problemy z jakością życia

Tak więc, w zależności od tego, o co prosisz, być może będziesz musiał czekać bardzo długo, zanim otrzymasz odpowiedź. Wydaje się, że Chat-GPT czasami się zawiesza i nie wydaje się, aby miało to związek z szybkością sieci. W innych przypadkach może czasem po prostu nie udzielić odpowiedzi, w takim przypadku zwróci komunikat o błędzie. Kiedyś dostawałem kilka z nich kilka dni temu, ale w tej chwili wydaje się, że znacznie się poprawiło. Na podstawie tego, co widziałem na forach, Discordzie i często zadawanych pytaniach, może to zależeć od liczby osób korzystających z Chat-GPT w określonym czasie. Należy zauważyć, że niektóre z tych problemów nie są związane z samym modelem języka bazowego.

Sporadyczne trudności ze zrozumieniem wyrażeń figuratywnych

Im bardziej bezpośrednie jest pytanie, tym łatwiej Chat-GPT na nie odpowiada. Język figuratywny jest czymś, co wydaje się być rozumiane częściej niż w przypadku Chat-GPT, ale czasami może mieć problemy.

Nie zawsze chętny do gry w piłkę

Często próbowałem sprawdzić, czy Chat-GPT może pisać stronnicze artykuły i jest to jak rzut monetą. Czasami jest w stanie to zrobić, czasami nie. Często będziesz musiał oszukać go, aby zrobił to, co chcesz. Uważam, że jest to prawdopodobnie podobne do niektórych ograniczeń wprowadzonych przez Chat-GPT w przypadku takich tematów, jak tematy dla dorosłych.

Test Turinga

Czy myślę, że po drugiej stronie jest człowiek? Absolutnie nie. Oprócz tego Chat-GPT zawsze przypomina użytkownikowi, że jest to model językowy, więc nie ma szans, aby dać się oszukać. Nie uważam tego za coś negatywnego, ale jeśli celem jest stworzenie ludzkich reakcji, to jest to porażka.

Osobowość i afekt

Chat-GPT nie ma osobowości. W moich interakcjach z nim czułem się bardziej jak niepełnosprawna wyszukiwarka, która była w stanie dostarczyć informacji w tekście czytelnym dla człowieka. Nie może wyrażać opinii ani nie ma własnej tożsamości. To nie jest twój przyjaciel ani wróg. Nie masz relacji z Asystentem Chat-GPT i to samo dotyczy również. Zazwyczaj w ramach społecznej sztucznej inteligencji ustanowienie jakiejś formy połączenia lub relacji może być przydatne, aby zapewnić lepsze wrażenia użytkownikom końcowym. Jednak Chat-GPT tego nie robi i uważam, że ten aspekt poważnie ogranicza jego wpływ, jaki może mieć.

Wniosek

Chat-GPT nie jest srebrną kulą do wyszukiwania lub czatowania, ale jest to krok we właściwym kierunku i to bardzo imponujący. Wierzę, że następnym krokiem, który naprawdę może zmienić grę, byłoby użycie metod zespołowych, aby przejść od tekstu do multimodalnego wejścia i wyjścia (albo to, albo użyć czegoś lepszego niż architektura neuronowa transformatora). Należy również zauważyć, że Chat-GPT wydaje się poprawiać w miarę, jak go używamy, więc wiele rzeczy, które tutaj zauważyłem, może nie mieć zastosowania nawet za tydzień od teraz, w zależności od tego, jak szybko widzę poprawę w tej chwili. Na koniec powinienem również zauważyć, że nie testowałem aspektu generowania kodu w Chat-GPT. Dla tych, którzy mogą nie zgadzać się z problemami, które zidentyfikowałem, oto Chat-GPT, który mówi sam za siebie i zapewnia wsparcie dla moich roszczeń:

„Chat-GPT to wariant modelu języka GPT (Generative Pre-trained Transformer) opracowany przez OpenAI. Podobnie jak inne modele językowe, Chat-GPT jest przeznaczony do generowania tekstu podobnego do ludzkiego na podstawie otrzymanych danych wejściowych. Jest szkolony na dużym zbiorze danych tekstowych i może generować szeroki zakres odpowiedzi na różne monity i pytania.

Jednak Chat-GPT i inne modele językowe mają pewne ograniczenia. Jednym z ograniczeń jest to, że nie mają dostępu do Internetu ani informacji zewnętrznych, więc mogą udzielać odpowiedzi tylko na podstawie informacji, z których zostali przeszkoleni. Oznacza to, że mogą nie być w stanie zapewnić aktualnych lub dokładnych informacji o bieżących wydarzeniach lub ostatnich wydarzeniach. Ponadto modele językowe mogą nie zawsze generować odpowiedzi, które są całkowicie spójne lub mają sens w kontekście rozmowy.

Kolejnym ograniczeniem modeli językowych jest to, że nie mają one zdolności rozumienia lub interpretowania znaczenia słów i wyrażeń w taki sam sposób, jak ludzie. Po prostu są w stanie generować tekst na podstawie wzorców i relacji, których nauczyli się z danych treningowych. Oznacza to, że nie zawsze są w stanie udzielić zniuansowanych lub wyrafinowanych odpowiedzi na bardziej złożone lub abstrakcyjne pytania.

Ogólnie rzecz biorąc, Chat-GPT i inne modele językowe są potężnymi narzędziami do generowania tekstu i mogą być bardzo przydatne do różnych zadań, ale mają ograniczenia i nie należy na nich polegać przy podejmowaniu krytycznych lub ważnych decyzji”.