Yapay Zeka Dedektörleri Yanlış Anlıyor. Yazarlar Zaten Kovuluyor

Kimberly Gasuras yapay zeka kullanmıyor. "Buna ihtiyacım yok" dedi. “24 yıldır haber muhabirliği yapıyorum. Bütün bu işi nasıl yaptığımı sanıyorsun?” Bu mantık işini kurtarmaya yetmedi.

Bucyrus, Ohio'da yerel bir gazeteci olarak Gasuras, faturaları ödemek için ek işlere güveniyor. Küçük ve orta ölçekli şirketler için bloglar ve diğer içerikler yazdığı WritersAccess adlı serbest yazarlık platformunda bir süre iyi para kazandı. Ancak 2023'ün yarısında bazı müşterilerin yazma ihtiyaçları için ChatGPT'ye geçmesiyle gelir düştü. Zaten zor bir dönemdi. Sonra e-posta geldi.

Gasuras, "Sadece bir uyarı aldım" dedi. “'Özgünlük' adlı bir araç kullanarak çalışmamı yapay zeka olarak işaretlediklerini söyleyen bir mesaj aldım.” Şaşkına dönmüştü. Gasuras masumiyetini savunmak için yanıt yazdı ancak hiçbir yanıt alamadı. Özgünlük paraya mal olur, ancak Gasuras, yanlışlıkla alçalmayacağından emin olmak için, teslim etmeden önce çalışmasını diğer yapay zeka dedektörlerinden geçirmeye başladı. Birkaç ay sonra WritersAccess yine de onu platformdan attı. “Aşırı yapay zeka kullanımı nedeniyle hesabımın askıya alındığını söylediler. Buna inanamadım” dedi Gasuras. WritersAccess yorum talebine yanıt vermedi.

ChatGPT bir buçuk yıl önce dünyayı ateşe verdiğinde, yapay zeka metinlerini kendi yazılarıymış gibi aktarmaya çalışan insanları yakalamanın yollarını bulmak için hararetli bir arayışa yol açtı. Boşluğu yapay zeka algılama araçlarıyla doldurmak için Copyleaks, GPTZero, Originality.AI ve Winston AI gibi isimlerle bir dizi startup kuruldu. Yapay zeka öcüleriyle dolu bir ortamda düzenli bir iş sağlar.

Bu şirketler, "kanıt" ve "sorumluluk" yoluyla kontrolü geri almanın bir yolu olan gönül rahatlığının reklamını yapıyor. Bazıları %99,98'e varan doğruluk oranlarının reklamını yapıyor. Ancak giderek artan sayıda uzman, araştırma ve sektörden kişi, bu araçların, üreticilerinin vaat ettiğinden çok daha az güvenilir olduğunu savunuyor. Yapay zeka dedektörlerinin sık sık hata yaptığına ve çevredeki masum kişilerin çapraz ateşe maruz kaldığına şüphe yok. Sayısız öğrenci yapay zeka intihaliyle suçlandı ancak profesyonel dünyada daha sessiz bir salgın yaşanıyor. Chatbotlar sayesinde bazı yazarlık işleri kuruyor . İnsanlar giderek azalan çalışma alanı için kavga ederken, yazarlar da yapay zeka dedektörlerinden gelen asılsız suçlamalar yüzünden işlerini kaybediyor.

İnsanların yapay zeka metnini algılama yazılımından gizlice geçirmek için insanileştirmelerine yardımcı olacak araçlar üreten Undetectable AI'nin kurucu ortağı Bars Juhasz, "Bu teknoloji, insanların reklamını yaptığı şekilde çalışmıyor" dedi. "Bu yapay zeka dedektörlerinin kullandığı eğitim sürecinin güvenilirliği konusunda birçok endişemiz var. Bu adamlar %99 doğruluk oranına sahip olduklarını iddia ediyorlar ve bizim çalışmalarımıza göre bunun imkansız olduğunu düşünüyorum. Ancak bu doğru olsa bile, bu yine de her 100 kişi için bir yanıltıcı bayrak olacağı anlamına geliyor. İnsanların geçim kaynaklarından ve itibarlarından bahsediyoruz.”

Koruma mı yoksa yılan yağı mı?

Genel olarak yapay zeka dedektörleri, mükemmel dil bilgisi ve noktalama işaretleri gibi yapay zeka yazımının ayırt edici özelliklerini tespit ederek çalışır. Aslında çalışmanızı işaretlemenin en kolay yollarından biri, yazım ve dilbilgisi hatalarını kontrol eden bir araç olan Grammarly'yi kullanmaktır. Hatta tahmin edebileceğiniz üzere yapay zekayı kullanarak cümleleri anlaşılır kılmak için yeniden yazmanın yollarını bile öneriyor. Gizmodo, yaralanmaya hakareti de ekleyerek, Grammarly kullanmalarını gerektiren platformlar tarafından kovulduklarını söyleyen yazarlarla konuştu. (Gizmodo bu hikayelerin ayrıntılarını doğruladı ancak yazarlar gizlilik anlaşmaları imzaladığı için bazı serbest platformların adlarını hariç tutuyoruz.)

Dedektörler aynı zamanda "patlama" gibi daha belirleyici faktörleri de arar. İnsan yazarların belirli kelimeleri kümeler veya patlamalar halinde yeniden kullanma olasılığı daha yüksekken, yapay zekanın kelimeleri bir belge boyunca eşit şekilde dağıtma olasılığı daha yüksektir. Yapay zeka dedektörleri aynı zamanda "karmaşıklığı" da değerlendirebilir; bu da esas olarak yapay zekanın, modelin eğitim verileri göz önüne alındığında bir metin parçası üretme olasılığını ölçmesini ister. Sektör lideri Originaility.AI gibi bazı şirketler, insan zihni için fazla karmaşık kalıpları tespit etmeyi amaçlayan diğer yapay zekaların çalışmalarını tespit etmek için özel olarak yapılmış kendi yapay zeka dil modellerini eğitiyor.

Ancak bu tekniklerin hiçbiri kusursuz değildir ve birçok büyük kurum bu sınıftaki araçlardan vazgeçmiştir. OpenAI, ürünlerine ilişkin korkuları gidermek için 2023'te kendi yapay zeka dedektörünü piyasaya sürdü ancak aracı yalnızca birkaç ay sonra " düşük doğruluk oranı nedeniyle" piyasadan çekti . Akademik dünya yapay zeka dedektörlerini ilk benimseyen oldu ancak yanlış suçlamalar, Vanderbilt, Michigan State, Northwestern ve Austin'deki Texas Üniversitesi de dahil olmak üzere uzun bir üniversite listesinin yapay zeka algılama yazılımı kullanımını yasaklamasına neden oldu.

Berlin Uygulamalı Bilimler Üniversitesi Mühendislik ve Ekonomi Profesörü Debora Weber-Wulff, yapay zeka tespit şirketlerinin "yılan yağı satma işinde" olduğunu ve yakın zamanda yapay zeka tespitinin etkinliği hakkında bir makalenin ortak yazarlığını yaptığını söyledi. Weber-Wulff'a göre araştırmalar, yapay zeka dedektörlerinin hatalı, güvenilmez ve kandırılmasının kolay olduğunu gösteriyor. "İnsanlar sorunlarını çözecek sihirli bir yazılımın olabileceğine inanmak istiyor" dedi. Ancak “bilgisayar yazılımı toplumsal sorunları çözemez. Başka çözümler bulmalıyız.”

Yapay zeka dedektörleri üreten şirketler, bunların robotlar tarafından oluşturulan metinlerle dolu bir dünyada gerekli ancak kusurlu bir araç olduğunu söylüyor. Etkili olsun ya da olmasın, bu hizmetlere önemli bir talep var.

AI tespit şirketi GPTZero'nun baş teknoloji sorumlusu Alex Cui, dedektörlerin önemli eksiklikleri olduğunu ancak faydalarının dezavantajlardan daha ağır bastığını söyledi. “Hiçbir şey değişmezse, ister haberler, ister hakemli makaleler, ister pazarlama olsun, internetin giderek daha fazla yapay zeka tarafından belirlendiği bir gelecek görüyoruz. Cui, sosyal medyada konuştuğunuz kişinin gerçek olup olmadığını bile bilmiyorsunuz" dedi. "Bilgiyi toplu olarak doğrulamak ve içeriğin yüksek kaliteli, özgün ve meşru yazarlığa sahip olup olmadığını belirlemek için bir çözüme ihtiyacımız var."

Gerekli bir kötülük?

Mesleki yansımalardan kaçınmak için adını saklamamızı isteyen Ohio merkezli bir metin yazarı olan Mark, yapay zeka dedektörü işine mal olduktan sonra yerel bir mağazada bakım yaparak işe girmek zorunda kaldığını söyledi.

Mark, "En son makalemin yapay zeka üretme olasılığının %95 olduğunu belirten bir e-posta aldım" dedi. "Şoktaydım. ChatGPT kullanıma sunulmadan çok önce, üç yıl birlikte çalıştıktan sonra beni suçlamaları çok saçma geldi."

Geri itmeye çalıştı. Mark, müşterisine makale taslağını hazırladığı Google Dokümanının bir kopyasını gönderdi; bu kopya, dokümanı elle yazdığını gösteren zaman damgalarını içeriyordu. Yeterli değildi. Mark'ın yazı platformuyla ilişkisi bozuldu. İşini kaybetmenin gelirinin %90'ına mal olduğunu söyledi.

Originality.AI CEO'su Jonathan Gillham, "Bu hikayeleri dilediğimizden daha fazla duyuyoruz ve kalplerini ve ruhlarını adadıkları çalışmalar haksız yere suçlandığında yazarlara yanlış pozitiflerin neden olduğu acıyı anlıyoruz" dedi. "Yazarlara yardımcı olacak bir araç geliştirdiğimizi hissediyoruz ama bazen bunun bazı sonuçları olabileceğini de biliyoruz."

Ancak Gillham'a göre sorun, yazarlara yardım etmekten veya hesap verebilirlik sağlamaktan daha fazlasıdır. "Google agresif bir şekilde yapay zeka spam'inin peşine düşüyor" dedi. "Sitelerinin tamamı Google tarafından dizinden çıkarılmış olan şirketlerden, yazarlarının yapay zeka kullandığını bile bilmediklerini söylediklerini duyduk."

İnternetin , arama sonuçlarıyla oynamak, tıklama almak ve bu gözbebeklerinden reklamdan para kazanmak amacıyla önemsiz yapay zeka makalelerini pompalayan düşük çaba gerektiren içerik çiftlikleri tarafından akın ettiği doğru . Google bu sitelere yönelik sıkı önlemler alıyor ve bu da bazı şirketlerin, Google'ın herhangi bir yapay zeka yazısı tespit etmesi durumunda web sitelerinin sıralamasının alt sıralara düşeceğine inanmasına neden oluyor. Bu, web tabanlı işletmeler için bir sorundur ve giderek artan bir şekilde yapay zeka dedektörlerinin 1 numaralı satış noktası haline gelmektedir. Özgünlük, kendisini ana sayfasındaki faydalar listesinin en üstünde "sitenizi Google'da geleceğe hazır hale getirmenin" bir yolu olarak tanıtıyor.

Bir Google sözcüsü bunun şirketin politikalarının tamamen yanlış yorumlandığını söyledi. Yapay zeka sağlayan bir şirket olan Google, yapay zeka içeriğiyle ilgili kendi başına bir sorunu olmadığını söyledi. Sözcü, "Google'ın web sitelerini sırf yapay zeka tarafından oluşturulan bazı içerikleri kullanabilecekleri için cezalandırdığını söylemek doğru değil" dedi. “Açıkça belirttiğimiz gibi, Arama sıralamalarını değiştirmek için geniş ölçekte oluşturulan düşük değerli içerik, ne şekilde üretilirse üretilsin spamdir. Otomatik sistemlerimiz, içeriğin faydalı ve kaliteli olup olmadığını gösteren sinyallere dayanarak en iyi arama sonuçlarında nelerin görüneceğini belirliyor."

Karışık mesajlar

Yapay zeka dedektörlerinin mükemmel olduğunu, onları üreten şirketler de dahil olmak üzere kimse iddia etmiyor. Ancak Originality ve diğer yapay zeka dedektörleri, araçlarının nasıl kullanılması gerektiği konusunda karışık mesajlar gönderiyor. Örneğin Gillham, "Akademide bu aracın kullanılmasını tavsiye etmiyoruz ve disiplin cezası olarak kullanılmasını da şiddetle tavsiye etmiyoruz" dedi. Öğrenciler için yanlış pozitif riskinin çok yüksek olduğunu, çünkü öğrencilerin bir okul yılı boyunca az sayıda makale sunduklarını, ancak profesyonel bir yazarın ürettiği çalışma hacminin, algoritmanın bunu doğru yapma şansının daha fazla olduğu anlamına geldiğini açıkladı. Ancak şirketin blog gönderilerinden birinde Originality, yapay zeka tespitinin sınıfta "gerekli" olduğunu söylüyor.

Daha sonra sonuçların nasıl sunulduğuna dair sorular var. Gizmodo'nun konuştuğu yazarların çoğu, müşterilerinin AI dedektörlerinin sınırlamalarını ve hatta sonuçların aslında ne söylediğini anlamadığını söyledi. Birinin kafasının nasıl karışabileceğini görmek kolaydır: Kendi makalelerimden birini Originality'nin yapay zeka dedektöründen geçirdim. Sonuçlar “%70 Orijinal” ve “%30 Yapay Zeka” idi. Özellikle aracın şüpheli bulduğu belirli cümleleri vurgulaması nedeniyle, Originality'nin makalenin %30'unun bir chatbot tarafından yazıldığını belirlediği anlamına geldiğini varsayabilirsiniz. Ancak bu aslında bir güven puanıdır; Orijinallik %70 oranında metni bir insanın yazdığından emindir. (Her şeyi kendim yazdım, ancak bunun için benim sözüme güvenmeniz gerekecek.)

Bir de şirketin algoritmasını tanımlama şekli var. Originality'ye göre, aracın en son sürümünün doğruluk oranı %98,8'dir, ancak Originality aynı zamanda hatalı pozitif oranının da %2,8 olduğunu söylüyor. Hesap makineniz elinizin altındaysa, bunun %100'den fazla olduğunu fark edeceksiniz. Gillham bunun nedeninin bu rakamların iki farklı testten gelmesi olduğunu söyledi.

Originality'nin savunmasında şirket, sonuçların hemen altında bilgileri nasıl yorumlamanız gerektiğine dair ayrıntılı bir açıklamanın yanı sıra, aracın nasıl kullanılacağına ilişkin daha ayrıntılı yazılara bağlantılar sunuyor. Ancak bu yeterli değil gibi görünüyor. Gizmodo, Orijinallik aracını yanlış anlayan müşterilerle tartışmak zorunda kaldıklarını söyleyen çok sayıda yazarla konuştu.

Originality , kendi araçlarını geliştirmek ve ölçmek için kullandığı veri kümesi ve metodoloji de dahil olmak üzere doğruluk ve diğer konularla ilgili çok sayıda blog yazısı ve çalışma yayınladı . Ancak Berlin'deki Mühendislik ve Ekonomi Uygulamalı Bilimler Üniversitesi'nden Weber-Wulff, Originality'nin metodolojisine ilişkin ayrıntıların "o kadar da net olmadığını" söyledi.

Gizmodo'nun görüştüğü, Undetectable AI'dan Juhasz gibi bazı uzmanlar, AI tespit endüstrisindeki işletmelerin doğruluk oranlarını şişirip müşterilerini yanıltması konusunda endişeleri olduğunu söyledi. GPTZero ve Originality AI temsilcileri, şirketlerinin açıklık ve şeffaflığa bağlı olduğunu söyledi. Her iki şirket de araçlarının sınırlamaları ve eksiklikleri hakkında net bilgi vermek için ellerinden geleni yaptıklarını söyledi.

Yapay zeka dedektörlerine karşı olmak yazarların yanında olmak gibi görünebilir ancak Gillham'a göre bunun tersi doğru. "Dedektör yoksa iş yazma rekabeti artar ve bunun sonucunda maaşlar düşer" dedi. "Dedektörler, işini yapabilen, içerik gönderebilen ve bunun için ücret alabilen bir yazar ile ChatGPT'den bir şeyi kopyalayıp yapıştırabilen bir yazar arasındaki farktır."

Öte yandan Gizmodo'nun konuştuğu tüm metin yazarları sorunun AI dedektörlerinde olduğunu söyledi.

“Yapay zeka gelecek. Bunu durdurmak için yapabileceğimiz hiçbir şey yok ama bence sorun bu değil. Yapay zekanın faydalı olabileceği birçok yol görebiliyorum" dedi Mark. “Bu dedektörler. Yapay zekânın yazdıklarını tespit edebileceklerini son derece kesin bir şekilde söyleyenler onlar ve müşterilerimizi gergin, paranoyak hale getiren ve bizi işsiz bırakan da onlar.”