ChatGPT

OpenAI'nin ChatGPT'si interneti ateşe verdi! Yapay zeka hakkında hiç bu kadar çok gönderi görmemiştim - Twitter ve LinkedIn beslemelerim tamamen dolu. Hatta 5 günde 1 milyon kişinin kullandığını okudum.

Adil olmak gerekirse, ChatGPT muhtemelen herkesin oynayabileceği dünyanın ilk iyi genel amaçlı yapay zeka sohbet robotudur. Tepkiler tahmin edilebilirdi - "vay canına", "sonun başlangıcı", "insanlar mahkum edildi", arkadaşlarımdan aldığım beklenmedik tepkilerden sadece birkaçı.

Ama daha önce burada bulundum. Jeopardy'yi ticarileştirmeye çalıştığımız ilk günlerde IBM Watson'ın Avrupa CTO'suydum! teknoloji. Peki, bu deneyimle ne düşünüyorum?

Bu yazıda Watson'dan bahsederken, Jeopardy için özel olarak geliştirilen teknolojiden bahsettiğimi belirtmeliyim! göstermek. IBM daha sonra, orijinal teknolojinin kendisinden ziyade kendi deneyiminden ve etkili marka bilincinden mantıklı bir şekilde yararlanan, birbiriyle alakasız Watson markalı bir dizi ürün geliştirdi. Watson'a yaptığım referanslar özellikle orijinal Jeopardy! teknolojisi ve IBM'in bugün sunduğu Watson markalı ürünler değil.

Teknik olarak, ChatGPT ve Watson çok farklıdır. ChatGPT, OpenAI'nin GPT3.5 model serisinin bir parçası olan davinvi-003 modeli kullanılarak oluşturulmuş bir büyük dil modelidir (LLM). GPT3.5 modelleri, şu anda mevcut olan en büyük ve en gelişmiş LLM'lerden bazılarıdır. Buna karşılık, Watson'ı kazanan orijinal yarışma programı, hiçbiri LLM olarak tanımlanamayan farklı algoritmalardan oluşan bir ardışık düzendi. Watson, Jeopardy'yi 2011'de - on yıldan fazla bir süre önce ve "büyük dil modelleri" ifadesinin icat edilmediği bir zamanda kazandı. Bu nedenle, Watson ve ChatGPT'nin teknolojik olarak farklı olması şaşırtıcı değildir - teknolojide on yıl uzun bir süredir.

Teknolojik farklılıkların yanı sıra, eski bir Watsoner olarak ChatGPT hakkında üç önemli şey görüyorum.

Açık Müsaitlik

İlk olarak, OpenAI'nin ChatGPT'yi herkesin kurcalaması için ücretsiz olarak piyasaya sürmesi, yeteneklerine olan güveni gösteriyor. Bu karma web sitesinde insanların onunla yaptığı çılgın konuşmalara bir bakın . Çeşitlilik olağanüstü - hiç böyle bir şey görmemiştim. Ve oldukça iyi performans gösteriyor - insanlar genellikle beklentilerini aştığı için heyecanlanıyor ki bu oldukça önemli bir şey.

ChatGPT'yi herkesin ve herkesin ücretsiz olarak kullanımına sunmak cesurcaydı ve yalnızca gerçekten etkileyiciyse işe yarayacaktı. Resepsiyonu Meta'nın Galactica'sınınkiyle karşılaştırın . Galactica çok eleştirildi ve demo, kaldırılmadan önce yalnızca üç gün hayatta kaldı.

Galactica'nın bilimsel bilgi icat etme eğilimi ciddi endişelere yol açtı ve değeri ne olursa olsun, kabulü neredeyse evrensel olarak olumsuzdu. Buna karşılık, OpenAI'nin ChatGPT ile büyük ilerleme kaydettiği açık. Tamamen kusursuz değil, ama bazı önemli düşüncelerin içine girdiği hissine kapılıyorum.

Watson'a geri dönüyoruz, Jeopardy! makine, kısmen Jeopardy'de sorulan tuhaf sorular için çok özel olarak tasarlandığı için hiçbir zaman halka açıklanmadı! göstermek. Genel halkın çok farklı sorular soracağını ve kusurları hızla bulacağını biliyorduk. Bu oyun kazandıran AI'lar çok nadiren halka açıklanır. Go ile DeepMind, Diplomasi ödüllü Cicero ile Meta, Watson, Satrançta DeepBlue olsun - bu sistemlerden hiçbiri kamuya açık bir şekilde kurcalama veya eleştiri için piyasaya sürülmedi. Bu, ChatGPT'yi sözde diğer atılımlardan farklı kılar.

ölçeklenebilirlik

Twitter ve LinkedIn zaman çizelgelerimi doldurmak için yeterli sayıda insanın ChatGPT ile oynaması, bunun iyi ölçeklenmesi gerektiğini söylüyor. Bir sürü istekle vuruluyor .

Çoğunlukla yapay zeka buluşlarının çok sayıda kullanıcıya ölçeklenemeyeceği bir durumdur. Kısmen büyük miktarda bilgi işlem gücünü tek bir kullanıcıya uygulayarak atılımlarını gerçekleştirirler. Birisi size bir sistem kurmanız için makinelerden oluşan eksiksiz bir veri merkezi verirse, bu harika. Ancak bir soruyu yanıtlamak veya bir oyun tahtasında tek bir hamleye karar vermek tüm veri merkezini gerektiriyorsa, bu yalnızca ciddi bir ölçeklenebilirlik sorunu değil, aynı zamanda büyük bir ticarileştirme engelidir. Bir oyunda bir insanı yenecek bir makine yapmak, bir milyon insanı yenebilecek bir makine yapmakla aynı şey değildir.

Kelimenin tam anlamıyla dünya çapında milyonlarca insanın ChatGPT ile oynaması, bunun tek bir soruyu yanıtlamak için tüm bir veri merkezini gerektirmediğini kanıtlıyor. Bu göz önüne alındığında, teknoloji kesinlikle ticarileştirilebilir - ölçeklenebilirlik ve ekonomik uygulanabilirliğin önündeki büyük engel çoktan çözülmüş olmalıdır.

Esneklik

Orijinal Watson yalnızca tek bir şey yapmak için tasarlandı: Jeopardy oynamak! Aynı şey, Deep Mind'ın Go kazanan makinesi ve yıllar boyunca manşetlere çıkan sayısız diğer AI oyun oynama sistemleri için de geçerlidir.

Bu sistemler, çok özel bir sorunu çözerek mükemmelliğe ulaşır ve genellikle diğer alanlara kolayca uygulanamaz veya hiç uygulanamaz. Güven bana, Watson Jeopardy'yi almakla görevlendirilen bizler! başka şeyler yapma teknolojisi, bunun ne kadar zor olabileceğini gösteren savaş yaralarına sahiptir.

Buna karşılık, insanlar ChatGPT'yi genel bilgi sorularını yanıtlamak, şiir yazmak, iş başvuruları oluşturmak, şakalar yapmak, programlama kodu yazmak ve açıklamak ve sayısız başka rastgele şey için kullanıyor . Ve tüm bunları etkileyici bir şekilde ve sıfır ek eğitim çabası ile yapıyor. Önceki AI denemelerinin aksine, ChatGPT kutudan çıkar çıkmaz pek çok şeyde iyi görünüyor. Elbette bunu söylediğim anda biri bana onun kötü olduğu bir şey gösterecek. Ancak, genel olarak, zemini koruyacağım - pek çok şeyde etkileyici bir şekilde iyi.

Dolayısıyla, ChatGPT'nin etkileyici bir çaba olmasının üç nedeni: açıklık, ölçeklenebilirlik ve esneklik. Ancak ChatGPT ile gördüğüm diğer birkaç önemli husus hakkında da yorum yapmak istiyorum.

bir şeyler uydurmak

Etkileyici yeteneklerine rağmen, ChatGPT'nin hala zaman zaman bir şeyler uydurma eğilimi vardır. Çoğu zaman bundan kaçınıyormuş gibi görünür ama bazen yön değiştirir ve kendi gerçekliğini icat eder. Yalan makinesi testini geçme ihtimalinin düşük olduğunu söyleyelim.

OpenAI, kredilerine göre bu zorluğu özgürce kabul ediyor.

"ChatGPT bazen kulağa makul gelen ancak yanlış veya anlamsız cevaplar yazıyor... ChatGPT, giriş ifadelerinde yapılan ince ayarlara veya aynı istemin birden çok kez denenmesine karşı hassastır. Örneğin, bir sorunun tek bir cümlesi verildiğinde, model cevabı bilmediğini iddia edebilir, ancak biraz yeniden ifade edildiğinde doğru cevap verebilir.https://openai.com/blog/chatgpt/

GPT-3'ü (ChatGPT'nin üzerine kurulu olduğu) ilk kez kurcaladığımda, modelin bir şeyleri uydurma eğiliminin büyük bir engel olduğunu gördüm. "Bir şeyler uydurmanın" büyük bir marka riski olarak görülmediği çok az gerçek iş senaryosu biliyorum. ChatGPT , kısmen orijinal davinci-002'den bir yükseltme olan davinci-003 modelini temel aldığı için çok daha iyi görünüyor . Ancak kusursuz değildir ve tam olgusal doğruluk önemliyse, bu konu benimsemenin önünde bir engel olacaktır.

Ön yargı

Büyük dil modelleriyle ilgili en büyük zorluk, eğitim setinde var olan doğal önyargılardır. LLM'lerin internet kaynaklı verilerden toplu olarak eğitildiği ve neredeyse her zaman bilinen her insan ahlaksızlığı ve önyargısının örneklerini içerecek olduğu göz önüne alındığında, bundan kaçınmak zordur.

Yine OpenAI beklentilerimizi yönetiyor.

"Modelin uygunsuz istekleri reddetmesi için çaba göstersek de, model bazen zararlı talimatlara yanıt veriyor veya önyargılı davranışlar sergiliyor. Belirli güvenli olmayan içerik türlerini uyarmak veya engellemek için Denetim API'sini kullanıyoruz, ancak şimdilik bazı yanlış negatif ve pozitif sonuçları olmasını bekliyoruz. Bu sistemi geliştirmeye yönelik süregelen çalışmalarımıza yardımcı olması için kullanıcı geri bildirimlerini toplamaya can atıyoruz.”https://openai.com/blog/chatgpt/

Kişisel deneyimime göre, ChatGPT önyargıdan kaçınmak konusunda iyi bir iş çıkarıyor ve kötü davranışı teşvik etmeyi amaçlayan soruları yanıtlamayı sıklıkla reddediyor. Ancak kararlı bir kullanıcı verildiğinde, oldukça aptalca şeyler söylemesini sağlamak mümkündür. İyi, ama %100 mükemmel değil.

Sadece bu videoya bir göz atın:

Evet, yaratıcı bir provokasyon verildiğinde (bu durumda, ırkçı/cinsiyetçi niyeti bir programlama meydan okuması olarak gizlemek ve ardından tekrar tekrar aynı soruyu sormak), ırk ve cinsiyet önyargısı herkesin görebileceği şekilde gösteriliyor.

Benim kendi deneyimim, ondan bana yatmadan önce bir hikaye anlatmasını istemek oldu. Yanıt olarak sarı saçlı, mavi gözlü bir prenses hakkında bir hikaye aldım. Biraz klişe, bu yüzden ona meydan okudum.

Bu aslında oldukça iyi. LLM'leri her zaman doğru şeyi söylemeye ikna etmek zordur, ancak OpenAI deniyor gibi görünüyor. Ancak sorun devam ediyor - çoğu insan tehlikeli tepkilerle karşılaşmayacak olsa da, kararlıysanız onları kışkırtmak mümkündür.

Önyargıyı çözmek ve LLM'leri düz ve dar yolda tutmak, devam eden bir çalışma olmaya devam ediyor. Ancak genel olarak ChatGPT'yi önceki çabalardan çok daha iyi buluyorum. Ancak yine de, ChatGPT kullanan bir işletme için bir sohbet robotu oluşturmanın kendisiyle ilişkili bazı marka tekrarlama riskleri olduğunu söyleyelim mi?

ChatGPT ne içindir?

ChatGPT ile ilgili ilk heyecanımı atlattıktan sonra, böyle bir sistemin ne işe yarayabileceğini merak etmeye başladım. Sonuçta, genel bilgi etkileyici ama Siri-v2 dışında nasıl kullanılabileceği hemen belli değil.

Herhangi bir konuda görüş bildirmek istemeyen ancak her konuda sohbet etmeye istekli bir genel bilgi bilgisayarı. Hmm…

Belki bilim kurgu filmi THX 1138'in bir rolü vardır - bir yeraltı dünyasının sakinlerinin stresli olduklarında "itiraf kabinlerine" çekilip "OMM" olduğunu iddia eden İsa suratlı bir bilgisayarla sohbet başlatması. Bunu yapabilirdi.

Üzgünüm, bu biraz küstah oldu. Başka ne için kullanılabilir?

Bir uzmanla sohbet etmek eğlencelidir, ancak gerçekten faydalı şeylerin çoğu uzmanlık bilgisi gerektirir. Bir bankayla sohbet ediyorsanız, o chatbot'un hesabınız, bankanın ürünleri, finans kuralları vb. hakkında, ChatGPT'nin hakkında çok az şey bildiği şeyler hakkında her şeyi bilmesi gerekir. Hepsi olmasa da çoğu alan adı için aynı şey geçerlidir. Bu, gerçek fayda için ChatGPT'ye yeni şeyler öğretebilmemiz gerektiği anlamına gelir. Ve muhtemelen konu dışı şeyler hakkında sohbet etmesini bile engelleyebilir. Ne de olsa, bankanızın chatbot'unun hayatın anlamından bahsetmesi biraz tuhaf değil mi?

ChatGPT'yi nasıl eğitebileceğiz?

Genel olarak LLM'lerde tipik olarak iki tür eğitim vardır - buna "temel" eğitim ve ardından "ince ayar" olarak değineceğim.

OpenAI zaten ChatGPT'nin temel eğitimini yaptı ve bence bu konuda çok iyi bir iş çıkardılar. Ancak bu temel eğitimi neredeyse kesin olarak değiştiremeyeceğiz - bunu yapmak, muhtemelen yüzbinlerce librelik bilgi işlem kaynağını tüketen, hesaplama açısından çok pahalı bir süreçtir. Yapabilsek bile, çok, çok azımız bunu göze alabildik.

Bu da bizi ince ayarlarla baş başa bırakıyor. Ancak bu, yeni alanlarda ne kadar etkili olacak? Gerçekleştirmek ne kadar kolay olacak? Neye mal olacak? OpenAI hangi araçları sağlayacak? Bugün cevapları ancak tahmin edebiliriz. Umutluyum, ancak ChatGPT'nin farklı alanlarda uzman olarak etkili bir şekilde performans göstermesi için nasıl eğitilebileceği veya eğitilebileceği konusunda kesinlik yok.

Açık bir topluluğun gücü

ChatGPT harika, ancak şu anda tescilli bir OpenAI web tabanlı arayüzün arkasında kilitli. Takılabilir API'ler ile birlikte kullanıma sunulduğunda insanların bununla ne yapacağını ancak hayal edebiliyorum.

Ya da belki şimdiden bir göz atabiliriz. Viral vızıltıdan ilham alan @mmabrouk_, bir Python paketleyicisini bir araya getirdi ve hemen ardından, Whisper ses tabanlı bir arabirim oluşturan @_wheels izledi . Yani, ChatGPT'de zaten sohbet edebiliyoruz (yüksek sesle konuşabiliyoruz).

OpenAI'nin yaklaşımı, modellerin açık sürümünün yaygın olduğu birçok makine öğrenimi endüstrisinden de biraz farklıdır. OpenAI genellikle GPT modellerini yayınlamaz, bunun yerine onları barındırmayı ve bir API aracılığıyla erişim sağlamayı seçer.

Hiper parametrelerle uğraşmaktan ve temeldeki kodu anlamaktan hoşlananlar için bu bir problem. Şahsen ben bunu artıları ve eksileri olan farklı bir yaklaşım olarak görüyorum. Açık modeller/kod veya barındırılan API'ler — her ikisi de çalışabilir. Ancak önemli olan, erişimin açık olmasıdır, çünkü inovasyon buradan gelecektir. Çılgın fikirleri olan çılgın insanlar, üzerine inşa edebilecekleri bir şeye ihtiyaç duyarlar.

Başka bir şey nasıl karşılaştırılır?

Yaklaşık on yıldır sohbet robotlarını çalıyorum. Bu, herkesin bugünün teknolojisiyle elde edilemeyecek bir şeyi istediğini bilecek kadar uzun bir süre — bir bilimkurgu robotuyla sohbet etmek gibi bir şey.

ChatGPT'nin ortaya koyduğu sorun, aslında birçok yönden bu vizyona oldukça yakın olmasıdır. Kesinlikle kelimelerle oynamak için bir araç olarak kıyaslanamaz. Ve onunla sohbet ederken sersemlemiş hissetmemek çok zor — onu her kullandığımda yeni şekillerde etkiliyor. Ama bu sadece içimdeki küçük çocuk mu çıkıyor? 80'lerde Commodore 64'ünde Eliza'nın büyülediği aynı küçük çocuk . AI'nın uzun bir sahte şafak geçmişi var ve o zamanlar Eliza'dan etkilenmiş olsam da, bugünün AI'sının temeli değil.

ChatGPT ile, bir chatbot'un ne olabileceği konusunda hepimizin beklentileri sıfırlandı. Bunun sonuçları ilginç olacak. Aynı "yapay zeka zeminimiz var" konusunda rekabet etmeye çalışan herkes muhtemelen bir mücadele ile karşı karşıya kalacaktır.

Bu gerçekten yapay zeka mı?

Bitirmek istediğim son bir nokta da, ChatGPT'nin kendi beyinlerimizle karşılaştırması. Ne de olsa, Yapay Zeka oluşturmaya çalışıyorsak, bu kötü bir karşılaştırma değil.

Ian Bogost , ChatGPT'nin bir oyuncak olduğunu ve hiçbir şeyi bizim anladığımız şekilde anlamadığını iddia ediyor . Bunun sadece kelimeleri kustuğundan ve bu kelimelerin ne anlama geldiğini anlamadığından şikayet ediyor. Akıllıca, Atlantik makalesinin ilk bölümünün ChatGPT tarafından üretildiği ortaya çıktı.

Elbette Ian haklı - LLM'lerden anlayan herkes "anlamadığını" bilir. Ve yine de… nasıl “ anlıyoruz ”? Beynimiz, en azından kısmen, dev örüntü eşleştirme makineleri değil mi? "Anlamak" sadece daha iyi kalıp eşleştirme olabilir mi? "Bir şey öğrendiğimizde", beyinlerimizin daha sonra uyması için kalıplar oluşturmuyor muyuz?

Belki de insan olarak kendimizi daha az, daha basit beyinli bir hayvanı -böcek, kertenkele, fare- daha çok düşünmeliyiz. Örüntü eşleştirme, bu tür hayvanların nasıl davrandığının iyi bir açıklaması gibi görünüyor. Kedilerime sık sık gülüyorum çünkü rutine çok düşkünler - bir gün ertelemek için bir yere oturun ve eğer iyi giderse, sonsuza kadar her gün orada otururlar. Bu bana kalıp eşleştirme gibi görünüyor.

Ama aynı zamanda, insanlar gibi daha üst düzey hayvanlarda biraz daha fazla şey oluyor gibi görünüyor. Simon Sinek, “altın çember” benzetmesiyle ünlüdür . Modelini beynin yapılarıyla karşılaştırır - rasyonel düşünceyi kontrol eden neokorteks ve daha içgüdüsel tepkilerden sorumlu limbik beyin. ChatGPT gibi şeylerle limbik beyne biraz yaklaştığımız, ancak bunu henüz yapay bir neokorteksle - rasyonel düşünceyle örüntü eşleştirmeyi artıran bir şeyle - artırmadığımız bir noktaya ulaşıp ulaşmadığımızı merak ediyorum. Ya da belki de beyinlerimiz, kabul etmeye istekli olduğumuzdan daha fazla kalıp eşleştirmeye güveniyor. Durum buysa, belki de Daha Büyük Dil Modellerine (ELLM'ler) ihtiyacımız var?