AI Dedektörleri Anadili İngilizce Olmayanlara Karşı Ayrımcılık Yapıyor
Chatbot metnini insan yazısından ayırmayı amaçlayan programların birkaç sorunu var. Listeye ekleyeceğiniz bir yenisi daha var: Yapay zeka dedektörleri, anadili İngilizce olmayanların yazılarını genellikle yanlış bir şekilde bot yapımı olarak sınıflandırır. Patterns dergisinde Pazartesi günü yayınlanan bir araştırmaya göre , zamanın yarısından fazlasında, yapay zeka dedektörleri yanlış bir şekilde anadili İngilizce olmayan kişiler tarafından yazılan yazıların yapay zeka tarafından üretildiğini varsaydılar .
Üretken yapay zekanın her yerde (ve her yerde demek istiyorum ) ortaya çıktığı bir dünyada , yapay zeka tarafından üretilen slop'u gerçek bir insan tarafından yazılan kelimelerden ayırma yeteneği giderek daha önemli hale geliyor. Yazma becerilerine göre rutin olarak değerlendirilen işe başvuranlar, öğrenciler ve diğerleri, bir bilgisayar programına yanlış atfedilme korkusu olmadan çalışmalarını sunabilmelidir. Eşzamanlı olarak, öğretmenler, profesörler ve işe alma müdürleri ideal olarak birisinin çabalarını ve kendilerini dürüstçe ortaya koyduğunu bilebilir.
Ancak muazzam veri kümeleriyle eğitilmiş çok daha büyük dil modelleri sayesinde, bir kişinin çalışmasını bir sohbet robotunun otomatikleştirilmiş, algoritmik olarak belirlenmiş çıktısından ayırmak ( en azından siz doğruluğunu kontrol edene kadar ) giderek daha zor hale geliyor. Nasıl görüntü, ses ve video derin sahtekarlıklarını tespit etmek rahatsız edici derecede zorlaşıyorsa , yapay zeka metnini tespit etmek de giderek zorlaşıyor .
Birden fazla şirket, bir kişiyi "bilgisayardan" ayrıştırabilecek yapay zeka algılama yazılımı geliştirerek sorunu çözmeye çalıştı . Üretken AI'daki mevcut patlamadan büyük ölçüde sorumlu olan Open AI bile, bir AI tespit aracı oluşturmak için elini denedi . Ancak spoiler uyarısı: Geliştiricilerin "%99 doğru" gibi doğrulanamayan ölçümlere ilişkin iddialarına rağmen, bu yapay zeka algılama araçlarının çoğu çok iyi çalışmıyor veya sınırlı kullanım durumlarına sahip. ”
Araçlar, genel anlamda o kadar da harika olmamalarının yanı sıra, tıpkı üretici yapay zekanın yaptığı gibi, insan önyargılarını da yeniden üretebilir .
Yeni çalışmada araştırmacılar, yedi "yaygın olarak kullanılan" GPT detektörü kullanarak ana dili İngilizce olmayan kişiler tarafından yazılmış 91 TOEFL (Yabancı Dil Olarak İngilizce Testi) makalesini değerlendirdi. Karşılaştırma için, aynı AI tespit araçları setiyle 99 ABD'li sekizinci sınıf öğrencisinin makalesini de çalıştırdılar. Dedektörler, sekiz sınıf makalelerinin %90'ından fazlasını insanlar tarafından yazılmış olarak doğru bir şekilde sınıflandırmış olsa da, kategorizasyon araçları TOEFL çalışmasında neredeyse aynı derecede başarılı değildi.
Yedi GPT dedektörünün tamamında, anadili İngilizce olmayan kişiler tarafından yazılan makaleler için ortalama yanlış tespit oranı %61,3 idi. Dedektörlerden en az biri yanlışlıkla TOEFL makalelerinin yaklaşık %98'ini yapay zeka tarafından oluşturulmuş olarak etiketledi. Tüm algılayıcılar, insan tarafından yazılmış olmasına rağmen, TOEFL çalışmasının aynı ~%20'lik bölümünün yapay zeka tarafından üretildiğini oybirliğiyle belirledi.
Çalışma yazarlarının açıklamasına göre çoğu yapay zeka dedektörü, metni "şaşkınlık" adı verilen bir ölçüye göre değerlendirerek çalışıyor . Şaşkınlık, temelde bir kelimenin bir metin dizisi bağlamında ne kadar beklenmedik olduğunun bir ölçüsüdür. Bir kelimeyi önceki kelimeler göz önüne alındığında tahmin etmek kolaysa, bu büyük dil modelleri ikna edici bir şekilde organize edilmiş bir kelime salatası pompalamak için olasılıksal algoritmalar kullandığından, teorik olarak AI'nın cümleden sorumlu olma şansı daha yüksektir. Steroidlerde otomatik tamamlanır .
Yine de, herhangi bir dili anadili olmayan kişiler, o dilde nispeten sınırlı bir kelime dağarcığı ve tahmin edilebilir dilbilgisi aralığı ile yazma eğilimindedir. bu da daha öngörülebilir cümlelere ve paragraflara yol açabilir. Araştırmacılar, TOEFL örnek makalelerindeki kelime tekrarını basitçe azaltarak, AI tespit yazılımında ortaya çıkan yanlış pozitiflerin sayısını önemli ölçüde azaltabildiklerini keşfettiler . Tersine, sekizinci sınıf denemelerinde dili basitleştirmek, daha fazlasının yapay zeka yaratımlarıyla karıştırılmasına yol açtı.
Yeni araştırmanın işaret ettiği gibi, bu, iş piyasasında ve akademik ortamlarda zaten ayrımcılığa maruz kalan anadili İngilizce olmayanlar için önemli bir sorun anlamına gelebilir. Daha geniş internette de, bu tür tutarlı AI dedektör hataları mevcut eşitsizlikleri artırabilir.
Yazarlar, "Sosyal medyada, GPT dedektörleri, yerel olmayan yazarların içeriğini sahte bir şekilde yapay zeka intihali olarak işaretleyebilir ve yerel olmayan belirli toplulukların gereksiz tacizinin yolunu açabilir" diye yazıyor. "Yapay zeka tarafından üretilen içeriğin değerini düşürmek için mekanizmalar uygulayan Google gibi internet arama motorları, istemeden yerel olmayan toplulukların görünürlüğünü kısıtlayabilir ve potansiyel olarak farklı bakış açılarını susturabilir."
AI tespiti belirgin bir şekilde iyileşene kadar, "GPT dedektörlerinin değerlendirme veya eğitim ortamlarında, özellikle de anadili İngilizce olmayan kişilerin çalışmalarını değerlendirirken kullanılmasına karşı şiddetle uyarıda bulunuyoruz." Yine de (sıklıkla karşılaştırılabilir bir AI modelinde çalışan) AI tespitinin gerçekten kendi kendini alt etmeyi nasıl gerçekten öğrenebileceğini görmek zor .
