ChatGPT Menjawab Pertanyaan Pemrograman dengan Salah 52% dari Waktu: Belajar

Chatbot dengan kecerdasan buatan seperti ChatGPT OpenAI dijual sebagai alat revolusioner yang dapat membantu pekerja menjadi lebih efisien dalam pekerjaannya, dan mungkin akan menggantikan orang-orang tersebut sepenuhnya di masa depan. Namun studi baru yang menakjubkan menemukan bahwa ChatGPT menjawab pertanyaan pemrograman komputer sebanyak 52% secara salah.

Penelitian dari Universitas Purdue, pertama kali ditemukan oleh outlet berita Futurism , dipresentasikan awal bulan ini di Konferensi Interaksi Komputer-Manusia di Hawaii dan mengamati 517 pertanyaan pemrograman di Stack Overflow yang kemudian dimasukkan ke ChatGPT.

“Analisis kami menunjukkan bahwa 52% jawaban ChatGPT berisi informasi yang salah dan 77% bertele-tele,” jelas studi baru tersebut. “Meskipun demikian, peserta studi pengguna kami masih lebih menyukai jawaban ChatGPT sebanyak 35% karena kelengkapan dan gaya bahasa yang diartikulasikan dengan baik.”

Yang meresahkan, pemrogram dalam penelitian ini tidak selalu menangkap kesalahan yang dihasilkan oleh chatbot AI.

“Namun, mereka juga mengabaikan informasi yang salah dalam jawaban ChatGPT sebanyak 39%,” menurut penelitian tersebut. “Hal ini menyiratkan perlunya melawan misinformasi dalam jawaban ChatGPT terhadap pertanyaan pemrograman dan meningkatkan kesadaran akan risiko yang terkait dengan jawaban yang tampaknya benar.”

Tentu saja, ini hanyalah sebuah penelitian yang dapat dibaca secara online , namun penelitian ini menunjukkan isu-isu yang dapat dipahami oleh siapa saja yang telah menggunakan alat-alat ini. Saat ini, perusahaan-perusahaan teknologi besar menggelontorkan miliaran dolar untuk AI dalam upaya menghadirkan chatbot paling andal. Meta, Microsoft, dan Google semuanya berlomba untuk mendominasi ruang baru yang berpotensi mengubah hubungan kita dengan internet secara radikal. Namun ada sejumlah kendala yang menghalangi.

Salah satu masalah terbesarnya adalah AI sering kali tidak dapat diandalkan, terutama jika pengguna mengajukan pertanyaan yang benar-benar unik. Pencarian baru Google yang didukung AI terus-menerus mengeluarkan sampah yang sering kali diambil dari sumber yang tidak dapat diandalkan. Faktanya, ada beberapa kali dalam minggu ini Google Penelusuran menyajikan artikel satir dari The Onion sebagai informasi yang dapat diandalkan .

Sementara itu, Google membela diri dengan menegaskan bahwa jawaban yang salah adalah anomali.

“Contoh yang kami lihat umumnya merupakan pertanyaan yang sangat tidak biasa, dan tidak mewakili pengalaman kebanyakan orang,” kata juru bicara Google kepada Gizmodo melalui email awal pekan ini . “Sebagian besar Ikhtisar AI memberikan informasi berkualitas tinggi, dengan tautan untuk menggali lebih dalam di web.”

Namun pembelaan tersebut, bahwa “pertanyaan yang tidak umum” menunjukkan jawaban yang salah, sejujurnya menggelikan. Apakah pengguna hanya boleh menanyakan pertanyaan paling biasa kepada chatbot ini? Bagaimana hal ini bisa diterima, padahal ada janji bahwa alat-alat ini seharusnya revolusioner?

OpenAI tidak segera menanggapi permintaan komentar pada hari Jumat tentang studi baru tentang jawaban ChatGPT. Gizmodo akan memperbarui posting ini jika kami mendengarnya kembali.