ChatGPT Programlama Sorularını Zamanın %52'sinde Yanlış Yanıtlıyor: Çalışma

OpenAI'nin ChatGPT'si gibi yapay zeka sohbet robotları, çalışanların işlerinde daha verimli olmalarına yardımcı olabilecek, belki de gelecekte bu insanların tamamen yerini alabilecek devrim niteliğinde araçlar olarak satılıyor. Ancak çarpıcı yeni bir çalışma , ChatGPT'nin bilgisayar programlama sorularını %52 oranında yanlış yanıtladığını ortaya çıkardı.

Purdue Üniversitesi'nin ilk kez haber kaynağı Futurism tarafından fark edilen araştırması , bu ayın başlarında Hawaii'deki Bilgisayar-İnsan Etkileşimi Konferansı'nda sunuldu ve daha sonra ChatGPT'ye gönderilen Stack Overflow ile ilgili 517 programlama sorusuna baktı.

Yeni çalışma, "Analizimiz, ChatGPT yanıtlarının %52'sinin yanlış bilgi içerdiğini ve %77'sinin ayrıntılı olduğunu gösteriyor" dedi. "Bununla birlikte, kullanıcı araştırması katılımcılarımız, kapsamlılıkları ve iyi ifade edilmiş dil tarzları nedeniyle hala %35 oranında ChatGPT yanıtlarını tercih ediyor."

Rahatsız edici bir şekilde, çalışmadaki programcılar yapay zeka sohbet robotunun ürettiği hataları her zaman fark edemiyordu.

Araştırmaya göre "Ancak ChatGPT cevaplarındaki yanlış bilgileri de %39 oranında gözden kaçırdılar." "Bu, ChatGPT'nin programlama sorularına verdiği yanıtlardaki yanlış bilgilere karşı koyma ve görünüşte doğru yanıtlarla ilişkili riskler konusunda farkındalık yaratma ihtiyacını ima ediyor."

Açıkçası bu, çevrimiçi olarak okunabilen yalnızca bir çalışmadır , ancak bu araçları kullanan herkesin ilgilenebileceği sorunlara işaret etmektedir. Büyük teknoloji şirketleri şu anda en güvenilir sohbet robotlarını sunmak amacıyla yapay zekaya milyarlarca dolar akıtıyor. Meta, Microsoft ve Google, internetle ilişkimizi kökten yeniden şekillendirme potansiyeline sahip, yeni ortaya çıkan bir alana hakim olma yarışında. Ama önümüzde bir takım engeller var.

Bu sorunların en önemlisi, özellikle belirli bir kullanıcı gerçekten benzersiz bir soru sorduğunda, yapay zekanın sıklıkla güvenilmez olmasıdır. Google'ın yeni AI destekli Arama özelliği, genellikle güvenilmez kaynaklardan alınan çöpleri sürekli olarak püskürtüyor . Aslında, bu hafta Google Arama'nın The Onion'daki hicivli makaleleri güvenilir bilgi olarak sunduğu birçok kez oldu .

Google ise yanlış yanıtların anormallik olduğu konusunda ısrar ederek kendisini savunuyor.

Bir Google sözcüsü bu hafta başında e-posta yoluyla Gizmodo'ya "Gördüğümüz örnekler genellikle çok nadir sorgulardır ve çoğu insanın deneyimlerini temsil etmemektedir" dedi . "Yapay Zeka Genel Bakışlarının büyük çoğunluğu, web'de daha derinlere inmek için bağlantılarla birlikte yüksek kaliteli bilgiler sağlıyor."

Ancak "alışılmadık soruların" yanlış yanıtlar gösterdiği savunması açıkçası gülünç. Kullanıcıların bu sohbet robotlarına yalnızca en sıradan soruları mı sormaları gerekiyor? Bu araçların devrim niteliğinde olması gerektiği vaadi varken bu nasıl kabul edilebilir?

OpenAI, Cuma günü ChatGPT yanıtlarına ilişkin yeni çalışma hakkında yapılan yorum talebine hemen yanıt vermedi. Geri bildirim alırsak Gizmodo bu yazıyı güncelleyecektir.