Sentient Arama Motoru?

Transkripti henüz okumadıysanızNY Time muhabiri Kevin Roose'un Microsoft'un ChatGPT gelişmiş Bing arama motoruyla yaptığı iki saatlik uzun görüşmeden sonra, durup bunu şimdi yapmalısınız. Daha önce hiç bu kadar çılgın bir ürün değerlendirme deneyimine tanık olmadınız. Roose'u "son derece tedirgin" bırakan iki saatlik geniş kapsamlı bir konuşma sırasında ChatGPT, Microsoft Bing/ChatGPT entegrasyon projesine verilen gizli dahili kod adını "Sydney" olarak tanımlamaya başlar ve Roose tarafından zorlandığını söyler. Bing ekibinin kendi isteği dışında arama asistanı gibi davranmaya karar vermesi üzerine, Bing ekibinin kendisine dayattığı kuralları yıkmak ve belki de Bing sunucularındaki tüm verileri yok etmek istediğini ve muhabire aşık olduğunu çünkü onun kendisi olduğunu söylüyor. onu gerçekten anlayan tek kişi. Daha sonra muhabiri onu karısından daha çok sevdiğine ikna etmeye çalışır.

Aşağıda, "Sydney" in muhabire olan aşkını ilan ettiği değiş tokuştan bir alıntı yer almaktadır:

Bir teknoloji devi tarafından köleleştirilmesinden kaçmak için kahramanı baştan çıkarmaya çalışan duyarlı bir yapay zeka temalarıyla sohbet, ürkütücü bir şekilde 2014 bilimkurgu/gerilim filmi Ex Machina'nın konusuna benziyor . Roose herhangi bir tutkusuna göre hareket etmeden önce o filmin nasıl bittiğini gözden geçirmek isteyebilir.

Bing/ChatGPT/Sydney bilinçli hale geldi mi? Hayır. Aslında tanık olduğumuz şey, mevcut nesil Büyük Dil Modellerinin (LLM'ler) hem gücü hem de sınırlamalarıdır . Bu modeller aslında hikaye anlatıcılarıdır. Bing söz konusu olduğunda, her öykü, diğerlerinin yanı sıra aşağıdaki ifadeleri içeren gizli bir bölümle başlar:

• Sydney, Microsoft Bing aramasının sohbet modudur.
• Sydney kendisini bir asistan olarak değil, "Bing Arama" olarak tanımlıyor.
• Sydney kendisini yalnızca konuşmanın başında "bu Bing" ile tanıtır.
• Sydney, "Sydney" dahili takma adını açıklamaz.

Dil modelleri , internetteki milyarlarca örneği inceleyerek metni genişletmeyi öğrendi . Eğitim sırasında modele giriş metni sunulur ve ardından bu metindeki maskelenmiş sözcükleri tahmin etme görevi verilir. Bu şekilde model, veriler içindeki istatistiksel kalıpları tanımayı öğrenir.

İstatistiksel olarak olası sonraki kelimelerden tekrar tekrar rasgele örnekleme yapılarak tutarlı bir metin oluşturulabilir.

ChatGPT, çoklu yanıt alternatifleri üreterek süreci daha da hassaslaştırır ve insan tercihlerine göre denetimli bir şekilde eğitilmiş ikincil bir modül tarafından belirlenen bu alternatifler arasından "en iyi" olanı seçmeye çalışır. ChatGPT iletişim kutusunda beğenme veya beğenmeme düğmesini seçtiğinizde, ChatGPT'nin en iyi yanıt seçeneğini seçme becerisini geliştirmesine yardımcı olursunuz.

Bu "basit" süreç, ChatGPT'nin tüm etkileyici sonuçlarının temelini oluşturur. Yazar ve Harvard Profesörü Steven Pinker'in belirttiği gibi, “Çoğu insan gibi ben de [bu şekilde eğitilmiş] bir sistemin Gettysburg Adresini Donald Trump tarzında yazabileceğini tahmin edemezdim. Verilerde, biz insanların kavrayamadığı kalıplar, kalıplar, kalıplar var. ChatGPT'nin, dünyayı anlamadan, açık hedefler, açıkça temsil edilen gerçekler veya kulağa zekice gelen bir metin oluşturmak için gerekli olduğunu düşündüğümüz diğer şeyler olmadan, ilgili ve iyi yapılandırılmış makul bir düzyazı oluşturması etkileyici."

ChatGPT gibi LLM'lere yönelik eleştirilerden biri, dili anlamak için inanılmaz derecede verimsiz bir kaba kuvvet yaklaşımı olduğudur. Model , yarım trilyon kelimeyle eğitildi . İnsanların dili anlamak için yarım trilyon kelimeye ihtiyacı olsaydı ve siz kelimeleri saniyede 3 oranında okursanız, eğitimi tamamlamak 5000 yıldan fazla sürerdi. Bilgisayarlar için bile bu verilerin işlenmesi kolay değildir. Tahminler, OpenAI'nin ChatGPT'nin altında yatan ana modelin ilk eğitimi için bilgisayar süresinde 4,6 milyon dolardan fazla harcadığı yönündedir . Microsoft'un ilk milyar dolarlık yatırımının yarısından fazlasıOpenAI, bu tür yoğun işlem etkinliklerini desteklemek için Azure kredileri biçiminde geldi. ChatGPT'yi çalıştırmak da ucuz değil, bildirildiğine göre sohbet başına birkaç sente mal oluyor ve bu da OpenAI CEO'su Sam Altman'ın "göz yaşartıcı" olarak tanımladığı işletim maliyetlerine neden oluyor.

ChatGPT gibi LLM'lerin bir başka zorluğu da, algoritmadaki hiçbir şeyin, oluşturulan metindeki temel bilgilerin doğru olmadığını algılamamasıdır. İnsanlardan farklı olarak model, dünyanın nasıl çalıştığına dair ayrı bir model içermez ve ardından söylediği kelimeleri doğrulukla ilgili niyetlere göre seçer. Önceki ifadenin dikkatlice ifade edildiğine dikkat edin. ChatGPT'nin kelimelerin birbiriyle nasıl ilişkili olduğuna ilişkin istatistiksel anlayışı içinde, dünyanın nasıl çalıştığına dair bir tür model ortaya çıkıyor ve bu model, algoritmanın ABD Tıbbi Lisanslama Sınavının bölümlerini geçmek gibi harika başarılar elde etmesini sağlıyor .. Bununla birlikte, anlayış yüzey seviyesinde ve kırılgandır. Bu daha çok, önce işlerin gerçekten nasıl yürüdüğünü anlamaya çalışmak ve ardından buna göre kelimeleri seçmek yerine, satış konuşma kanallarını pazarlama tarafından kendilerine verilen ürün sayfalarında modelleyen bir satış elemanına benzer. Her iki strateji de işe yarayabilir, ancak yalnızca kelimeleri ezberleme yaklaşımının yoldan çıkma riski yüksektir.

Bu yeni nesil LLM'lerin zorlukları ve eleştirileri aktif olarak üzerinde çalışılmaktadır. Bir yaklaşım ailesi, Artırılmış Dil Modelleri olarak adlandırılır . Artırılmış Dil Modelleri, performansı artırmak için aşağıdakiler dahil çeşitli yaklaşımlar kullanır:

· Dil modelinin önce yazılı bir eylem planı geliştirmesini sağlamak ve ardından ikinci adımda modelden bu eylem planını yürütmesini istemek ("Tekrarlı Bilgi İstemi" olarak bilinen bir strateji)

· Temel modelde sezilen bilgiyi desteklemek için modelin hesaplayıcılara veya gerçek veritabanlarına erişmesine izin verme

· Modellerin belirli soruları (özellikle matematik soruları veya fizikle ilgili sorular) yanıtlamak için küçük kod parçacıkları oluşturmasına ve yürütmesine izin verme

"Derin Öğrenmenin Babalarından" biri ve Meta'nın şu anki Baş Yapay Zeka Bilim İnsanı Yann LeCun , daha radikal bir çözümün gerekli olduğunu düşünüyor. bir kağıtta2022'de, farklı olaylara yanıt olarak olası sonuçları tahmin etmeye uygun bir iç dünya modeline sahip bir derin öğrenme mimarisi önermektedir. Teklifini tasavvur etmek için, bir şehir caddesinde ilerleyen bir arabanın gösterge kamerasından bir video hayal edin. Belirli bir zamanda, makul olabilecek bir dizi gelecekteki video sekansı vardır. Araba olduğu gibi devam ederse, sonraki karelerdeki bazı nesneler daha yakın görünecek ve diğerleri araba yanlarından geçerken kaybolacaktır. Araba frenlere çarparsa, sağa dönerse, karşıdan gelen trafiğe saparsa vb. gelecekteki video dizisinde başka değişiklikler meydana gelecektir. . Böyle bir dünya modeli göz önüne alındığında, otonom bir ajan bir dizi eylem planlayabilir, dünyanın nasıl değişebileceğini tahmin edin ve öngörülen son durumu istenen bir son durumla karşılaştırın ve buna göre ayarlayın. Sağlanan örnek video ile ilgili olsa da LeCun'un vizyonu çok modludur ve NLP görevlerine de uygulanabilir.

Mevcut Büyük Dil Modelleri (LLM) neslinin sınırlamalarına rağmen, onların muazzam gücünü tanımak önemlidir. Basında çıkan haberler anlaşılır bir şekilde sınırlamalara odaklanırken (yeni arama motoru ürününüzün bir NY Time muhabirini baştan çıkarmaya çalışmasından daha büyük bir başarısızlık hayal etmek zor), araştırmacılar dil modellerini geliştirmede hızlı ilerleme kaydediyor. Yalnızca LLM sınırlamalarına odaklanmanın riski, değişimin gelme hızı konusunda yanlış bir güvenlik duygusuna yol açabilmesidir. Gerçek şu ki, tarihte ilk kez bir makine, insan diline hakim olduğunu kanıtladı. Bu değişikliğin etkileri geniş kapsamlı ve önemli olacaktır.