ChatGPT nieprawidłowo odpowiada na pytania dotyczące programowania w 52% przypadków: przestudiuj

Chatboty oparte na sztucznej inteligencji, takie jak ChatGPT OpenAI, są sprzedawane jako rewolucyjne narzędzia, które mogą pomóc pracownikom zwiększyć wydajność w pracy, a być może w przyszłości całkowicie ich zastąpić. Jednak nowe, oszałamiające badanie wykazało, że ChatGPT w 52% przypadków nieprawidłowo odpowiada na pytania dotyczące programowania komputerowego.

Badanie przeprowadzone na Uniwersytecie Purdue, po raz pierwszy zauważone przez serwis informacyjny Futurism , zostało zaprezentowane na początku tego miesiąca na konferencji interakcji komputer-człowiek na Hawajach i obejmowało 517 pytań programistycznych w serwisie Stack Overflow, które następnie przesłano do ChatGPT.

„Nasza analiza pokazuje, że 52% odpowiedzi ChatGPT zawiera nieprawidłowe informacje, a 77% jest gadatliwych” – wyjaśnia nowe badanie. „Niemniej jednak uczestnicy naszego badania użytkowników nadal w 35% przypadków preferowali odpowiedzi ChatGPT ze względu na ich kompleksowość i dobrze sformułowany styl językowy”.

Niepokojące jest to, że programiści biorący udział w badaniu nie zawsze wychwytywali błędy popełniane przez chatbota AI.

„Jednak w 39% przypadków przeoczyli również dezinformację w odpowiedziach ChatGPT” – wynika z badania. „Implikuje to potrzebę przeciwdziałania dezinformacji w odpowiedziach ChatGPT na pytania programistyczne i podnoszenia świadomości na temat zagrożeń związanych z pozornie poprawnymi odpowiedziami”.

Oczywiście jest to tylko jedno badanie, które można przeczytać w Internecie , ale wskazuje ono na problemy, z którymi może się utożsamić każdy, kto korzysta z tych narzędzi. Duże firmy technologiczne inwestują obecnie miliardy dolarów w sztuczną inteligencję, starając się dostarczać najbardziej niezawodne chatboty. Meta, Microsoft i Google ścigają się, by zdominować wyłaniającą się przestrzeń, która może radykalnie zmienić nasze relacje z Internetem. Ale na drodze stoi wiele przeszkód.

Najważniejszym z tych problemów jest to, że sztuczna inteligencja często jest zawodna, zwłaszcza jeśli dany użytkownik zadaje naprawdę unikalne pytanie. Nowa wyszukiwarka Google oparta na sztucznej inteligencji nieustannie wyrzuca śmieci , które często pochodzą z niewiarygodnych źródeł. W tym tygodniu wyszukiwarka Google wielokrotnie prezentowała artykuły satyryczne z magazynu The Onion jako wiarygodne informacje .

Ze swojej strony Google broni się, upierając się, że błędne odpowiedzi są anomaliami.

„Przykłady, które widzieliśmy, to na ogół bardzo rzadkie zapytania i nie odzwierciedlają doświadczeń większości ludzi” – powiedział rzecznik Google w e-mailu do Gizmodo na początku tego tygodnia . „Zdecydowana większość przeglądów AI zapewnia wysokiej jakości informacje wraz z linkami umożliwiającymi głębsze przeglądanie sieci”.

Ale ta obrona, mówiąca, że ​​„nietypowe zapytania” dają błędne odpowiedzi, jest szczerze śmieszna. Czy użytkownicy powinni zadawać chatbotom tylko najbardziej przyziemne pytania? Jak to jest akceptowalne, skoro obiecuje się, że te narzędzia mają być rewolucyjne?

W piątek OpenAI nie odpowiedziało natychmiast na prośbę o komentarz na temat nowego badania dotyczącego odpowiedzi ChatGPT. Gizmodo zaktualizuje ten post, jeśli otrzymamy odpowiedź.