ChatGPT ve benzeri sohbet sistemleri nasıl çalışır?

GPT veya Generative Pretrained Transformer, OpenAI tarafından insan benzeri metinler oluşturmak için geliştirilmiş bir modeldir. Vaswani ve diğerlerinin "Attention is All You Need" adlı makalesinde tanıtılan bir tür sinir ağı mimarisi olan trafo mimarisine dayanmaktadır.

İşte GPT'nin nasıl çalıştığına dair ayrıntılı bir döküm:

1. Transformatörler ve Dikkat Mekanizması : GPT'nin temel yapı taşı transformatör modelidir. Dönüştürücüler, bir çıktı öğesi üretirken girdi öğelerinin (cümledeki sözcükler gibi) alaka düzeyini ölçmek için "dikkat" adı verilen bir mekanizma kullanır. Bu, geleneksel tekrarlayan sinir ağları (RNN'ler) veya uzun kısa süreli bellek ağları (LSTM'ler) gibi girdi öğelerini belirli bir sırada işlemek zorunda kalmadan elde edilir. Bu özellik, transformatörlerin verilerdeki uzun menzilli bağımlılıkları daha etkin ve verimli bir şekilde yönetmesini sağlar.
2. Öz-Dikkat : GPT, özellikle "öz-dikkat" veya "ölçekli nokta-ürün dikkati" olarak bilinen dikkat mekanizmasının bir çeşidini kullanır. Öz-dikkat, modelin bir çıktı sözcüğü oluştururken girdideki diğer sözcükleri dikkate almasına izin verir. Her kelime için, cümledeki diğer kelimelere ne kadar dikkat edilmesi gerektiğini gösteren bir puan (girdi vektörlerinin nokta çarpımı kullanılarak) hesaplanır. Bu puanlar daha sonra her kelimenin çıktıya katkısını ölçmek için kullanılır.
3. Maskeli Kod Çözme : Eğitim sırasında GPT, "maskeli kod çözme" veya "nedensel dikkat" adı verilen bir teknik kullanır. Bu, bir kelimeyi tahmin ederken, modelin yalnızca cümlede kendisinden önce gelen kelimeleri kullandığı ve bu da insanların metin oluşturma biçimini taklit ettiği anlamına gelir.
4. Eğitim ve İnce Ayar : GPT iki adımda eğitilir: ön eğitim ve ince ayar. Ön eğitim sırasında, model bir cümledeki bir sonraki kelimeyi tahmin etmek için büyük bir metin külliyatında eğitilir. Bu, gramer, dünya hakkındaki gerçekler, muhakeme yetenekleri ve eğitim verilerinde bulunan bir miktar önyargı dahil olmak üzere genel bir dil anlayışı öğrenmesine olanak tanır. Ön eğitimden sonra model, çeviri, soru yanıtlama veya metin oluşturma gibi belirli görevlere uyarlamak için genellikle insan gözetiminde daha dar bir veri kümesinde ince ayar yapılır.
5. Simgeleştirme : GPT'ye yapılan metin girişleri, sözcüklere veya alt sözcüklere karşılık gelebilecek "belirteçler" adı verilen parçalara bölünür. Bu simgeleştirme süreci, modelin çok çeşitli girdi sözcük dağarcığını işlemesine izin verir.
6. Konumsal Kodlama : Modelin bir cümledeki sözcüklerin sırasını bildiğinden emin olmak için (transformatör mimarisi, RNN'ler gibi sırayı doğası gereği anlamadığından), GPT, giriş gömmelerine konumsal kodlamalar ekler. Bu, dizideki belirteçlerin göreli veya mutlak konumu hakkında model bilgisi verir.
7. Model Boyutu : GPT modelleri son derece büyük olabilir. Örneğin, önceki sürümlerden biri olan GPT-3, 175 milyar parametreye sahiptir. Bu parametreler modelin eğitim verilerinden öğrenilen parçalarıdır. Daha büyük modeller genellikle daha karmaşık kalıpları yakalayabilir ve daha tutarlı ve çeşitli metinler oluşturabilir, ancak aynı zamanda eğitmek ve kullanmak için daha fazla hesaplama kaynağı gerektirir.
8. Çıktı : GPT'nin çıktısı, sonraki tüm olası kelimeler üzerinden bir olasılık dağılımıdır. Metin oluştururken, mantıklı bir sonraki kelimeyi elde etmek için bu dağılımdan örnek alabilirsiniz. GPT, bu süreci zincirleyerek, oldukça tutarlı ve bağlamsal olarak alakalı olabilen tüm metin pasajlarını oluşturabilir.

Transformatör devrimini başlatan ve ChatGPT ve benzeri sistemlere öncülük eden kağıt budur:

Dikkat Tek İhtiyacınız Olan
Ashish Vaswani , Noam Shazeer , Niki Parmar , Jakob Uszkoreit , Llion Jones , Aidan N. Gomez , Lukasz Kaiser , Illia Polosukhin , 2017
Bağlantı:https://arxiv.org/abs/1706.03762

Artık biliyorsun :)