Bu blogda, ChatGPT gibi geniş dilli bir model oluşturmak ve geliştirmek için Güçlendirmeli Öğrenimi (RL) kullanma sürecini inceleyeceğim. Daha sonra OpenAI ve Microsoft'un, rakiplerin üretken yapay zeka pazarında kendilerine karşı rekabet etmesini önlemek için RL'yi nasıl kullanabileceğini göstereceğim. Daha sonra kaleye saldırmak için yeni girişimler için stratejiler önereceğim. Öncelikle, saldırganların ChatGPT kalesine ulaşmasını engelleyen bir "hendek" ile ne demek istediğimizi gözden geçirelim.

Porter'ın Beş Kuvvet Modeli Üzerine Arka Plan

1979'da Michael Porter, bir endüstrinin rekabetçi doğasını analiz etme üzerine ufuk açıcı makalesini yayınladı. Şimdi bu süreci Porter'ın Beş Kuvvet Analizi olarak adlandırıyoruz . Herhangi bir pazardaki bir dizi baskı noktasını görselleştirmek için aşağıdaki diyagramı kullanabiliriz.

OpenAI, ChatGPT'ye premium erişim için ayda mütevazı bir 20 ABD doları ücret alır . Ayrıca 100 milyondan fazla kullanıcısı olan ücretsiz bir sürümü de bulunmaktadır . OpenAI, bu kullanıcıları geri bildirim almak ve modellerini daha iyi hale getirmek için bir yöntem olarak kullanıyor.

ChatGPT'ye objektif olarak baktığımızda, yeteneklerine yaklaşan, halka açık başka bir araç gerçekten yoktur. Kullanıcı arayüzü ilkel olmasına rağmen, üretilen metnin kalitesi rakiplerine kıyasla baş döndürücüdür. Bu kadar genel ve çok farklı kullanımları olan tek modeldir .

Yani şu anda, OpenAI'yi yalnızca yukarıdaki üretken AI çemberine koyabiliriz. Ancak bu durum değişecek ve Microsoft'un OpenAI'ye neden 10 milyar dolar yatırım yaptığını anlayacağız.

Bu analiz için, rekabet olmadığı için Alıcıların Pazarlık Gücünü göz ardı edeceğiz . Tedarikçilerin Pazarlık Gücü , Microsoft Azure içindeki NIVIDA GPU donanımı ve OpenAI içindeki yazılım geliştiricilerdir. Bunlar uzun vadede göz ardı edilemez ama şimdilik hem donanımı satın almaya hem de OpenAI geliştiricilerine ödeme yapmaya yetecek kadar para var. Geriye dikkate almamız gereken bir güç kalıyor: Yeni Girenlerin Tehditleri. Bilgi bulmak için arama motoru kullanmak veya kitap okumak gibi ChatGPT'nin İkame Tehditleri vardır . Bu seçeneklerin hiçbiri çekici değil.

Yeni Girenlerin Tehditleri

Yukarıdaki şemaya bakıldığında, en üstteki güce Yeni Girenlerin Tehdidi denir . Halihazırda geniş dil modelleri alanına derinden hakim olan diğer büyük teknoloji şirketlerinden oluşur. Bu içerir:

1. Yeni modeller oluşturmak için arama ve geri bildirim hakkında bilgi sahibi olan Google
2. Amazon — geniş dilli modelleri eğitmek için bulut hizmetlerini tanıtmak amacıyla makine öğrenimi üzerinde çalışan büyük ekiplere sahiptir
3. Meta — Facebook'un kullanıcılar hakkında, hangi reklamları tıklayabileceklerine dair ayrıntılı tahminler yapmak için kullanılabilecek yaklaşık 50.000 gerçek topladığı yer
4. HuggingFace — geliştiricilerin 100.000 modele erişmesini ve hızlı ve kolay Spaces uygulamalarını kullanarak bunlarda ince ayar yapmasını kolaylaştırır.

OpenAI'nin hatırı sayılır bir liderliği var. OpenAI, GPT makalesini ilk olarak 11 Haziran 2018'de yayınladı . Bunu 14 Şubat 2019'da 1,5 milyar parametreye sahip GPT-2 izledi . Bunu, 11 Haziran 2020'de 175 milyar parametreye ulaşan çığır açan GPT-3 izledi. Bu sonuçlar etkileyiciydi çünkü GPT-3'ün oluşturduğu metnin kalitesi inanılmazdı. Ancak OpenAI yavaşlamadı. Temel GPT-3 modelinin ince ayarını daha iyi öğretim amacı algılaması ile yapan modeller eklediler ve ayrıca Codex adlı yazılım üzerinde eğitilmiş başka bir modeli entegre ettiler.

Bir kullanıcı olumlu ya da olumsuz yanıt verdiğinde, OpenAI modellerinin iyileştirebileceği daha fazla veri vardır. Tüm bu çalışmaların ardından Reinforcement Learning with Human Feedback veya RLHF adlı başka bir yazılım katmanı uyguladılar. RLHF, bu 100 milyon kullanıcı için bugün hala kullanılıyor.

Bilişsel Asistanlar İçin Girişin Önündeki Üç Engel

İşte yeni girenleri ChatGPT'ye karşı tamamlama mücadelesine katılmaktan alıkoyan üç ana faktör.

1. Yapay Zeka Yeteneği — NLP ve büyük dil modellerini derinden takdir eden personeliniz var mı? Kuruluşunuzun verilerinin bilgi temsiline ilişkin güçlü bir anlayışa sahipler mi? Kuruluşunuz bu yeteneği kızışmış bir sektörde işe alıp elinde tutabilir mi?
2. Eğitim Donanım Maliyetleri — Kuruluşunuzun geniş dilli modelleri eğitmek ve ince ayar yapmak için binlerce GPU'ya/TPU'ya/IPU'ya veya HBU'ya erişimi var mı?
3. Geri Bildirim — Size geri bildirim vermeye istekli yüzbinlerce kullanıcınız var mı? OpenAI'nin bugün 100 milyondan fazla kullanıcısı var ve bu geri bildirimle modellerini iyileştirdikçe bu sayının artması bekleniyor.

Bazı Sistem Düşüncelerini Uygulayın

Sistem Düşüncesinin ilkelerini bu soruna uyguladığımızda, pozitif pekiştirme döngüsüne sahip bir Nedensel Döngü Şeması (CLD) görürüz. Aşağıdaki gibi görünüyor:

Bu küçük CLD, ilişkileri tanımlayarak açıklanabilir:

1. Modellenecek Veriler — makine öğrenimi modları oluşturmak için verileri kullanırız.
2. Modelden Tahmine — önceki bilgilere dayanarak gelecekle ilgili tahminler yapmak için makine öğrenimi modellerini kullanıyoruz.
3. Tahminler Geri Bildirim Sağlar — Makul ölçüde iyi tahminler yapabildiğimizde, insanlar bize geri bildirimde bulunur.
4. Geribildirim Veridir — modellerimizi iyileştirmek için geri bildirimleri yeni veriler olarak kullanabiliriz.

Tanrı Grafiği ve Bilgi Yönetimi için Sistem Düşüncesi bloglarında Sistem Düşüncesinin rolü hakkında daha fazla bilgi edinebilirsiniz .

İnsan Geri Bildirimli Yapay Zeka Volan

Yukarıdaki şekil, kuruluşların nasıl veri topladığını, tahmine dayalı modeller oluşturduğunu, tahminlerde bulunduğunu ve daha iyi tahminler yapmak için daha fazla veri toplamak üzere insan geri bildirimlerini nasıl kullandığını açıklayan klasik "AI Volan"dır. Bu modeli öğrettiğim hemen hemen her KR ve AI kursunda kullanıyorum çünkü bu, şirketlerin yeni kognitif asistanlar oluşturmak için geri bildirimi nasıl kullanacaklarını anlamak için temel teşkil ediyor.

Birkaç ayrıntıyı daha eklemek için geleneksel basitleştirilmiş 4 bileşenli döngüyü (veri, model, tahmin, geri bildirim) değiştirdim. Diyagramın odaklanmak istediğimiz iki temel özelliği vardır.

İlk olarak, geri bildirimin bağlamsal olduğunu herkesin anladığından emin olmak istiyoruz. Geri bildirimin yalnızca bir insandan geldiğini bilmekle kalmaz, aynı zamanda bu kişinin kendi ortamındaki bağlamını da bilmek istersiniz. Bu, bir kodlama önerisi için geri bildirim ise, bunun kıdemli veya genç bir geliştirici olup olmadığını bilmek istersiniz. Oluşturulan bir mektupla ilgili geri bildirim ise, okuyucunun konunun uzmanı mı yoksa acemi mi olduğunu bilmek istersiniz. Bağlam her şeydir, bu nedenle bir bilgi grafiği kullanmazsanız, size geri bildirim veren insan hakkındaki bilgilerin çoğunu çöpe atmış olursunuz.

İkincisi, onlara değer sağlamadığınız sürece insanlardan bilgi toplamayacağınızı anlamaktır. Bu, önerilerinizin en az 1/3'ü doğru değilse, kullanıcının önerilerinizi devre dışı bırakacağı anlamına gelir. Değerli olduklarından daha can sıkıcıdırlar. Bu nedenle, tahmin modeliniz 1/3 kesiminde değilse, size geri bildirimde bulunmaları için kullanıcılara ödeme yapmanız gerekebilir. Bu tam olarak OpenAI gibi şirketlerin ürün lansmanından önce yapmaları gereken şeydi. İnsanlar onu (ücretsiz) kullanmaya başladığında, geri bildirim akışı gelmeye başladı. Ve her tıklamayla, ChatGPT'nin etrafındaki hendek daha da genişliyor.

Çözüm

Özetle, geri bildirim ve takviyeli öğrenme, genel bilişsel asistanlar için genel ChatGPT odaklı pazarın dışında rekabet etmeye devam edecek ağ etkilerine neden olur. Küçük bir şirketseniz, bu alanda rekabet edecek kaynaklara sahip olmayabilirsiniz. Bu, küçük şirketlere, tahminlerinde ince ayar yapmalarına yardımcı olacak özel verilere ve gönüllülere erişim ile dar disiplinlerde çalışan kognitif asistanlar oluşturma konusunda hala birçok fırsat bırakıyor. Son olarak, küçük girişimler, OpenAI'nin GPT-3 davinci modelleri gibi lisanslama sistemlerini dikkate almalı ve bunları ürünlere entegre etmelidir.