5. HAFTA Soru Asistanı Barlas

Dec 19 2022

Hey Millet, Bu hafta ilerleme raporu yazmaya başladık. Yazmaya başlamadan önce mT5 [1] modelindeki veri setimizi TQuAD veri seti [2] ile ince ayar yapmaya çalışıyoruz.

Ey Halk,

Bu hafta ilerleme raporu yazmaya başladık. Yazmaya başlamadan önce mT5 [1] modelindeki veri setimizi TQuAD veri seti [2] ile ince ayar yapmaya çalışıyoruz. Öncelikle mT5 modelini açıklamaya başlayalım.

T5 NLP Modeli

T5, Google tarafından NLP görevleri için geliştirilmiş büyük ölçekli, önceden eğitilmiş bir dil modelidir. Google Research tarafından 2020'de yayınlanan ve onu çok çeşitli NLP görevleri için ince ayar yapılabilen bir "Metinden Metne Aktarım Transformatörü" olarak tanımlayan bir makalede tanıtıldı. T5, giriş metnini işlemek ve çıktı metni oluşturmak için dikkat mekanizmalarını kullanan Transformer mimarisine dayalıdır. Önceki birçok dil modelinden farklı olarak, T5, göreve özgü mimarilere ihtiyaç duymadan çok çeşitli NLP görevleri için ince ayar yapılmasına olanak tanıyan, belirli bir isteme yanıt olarak metin oluşturmak üzere eğitilmiştir. Ne yazık ki, T5 ve birçok dil modeli İngilizce konusunda önceden eğitilmiştir. Dünyanın \%80'i İngilizce konuşmuyor [3]. Bu, o modelin kullanıcı sayısını kısıtlar.

mT5 NLP Modeli

mT5, T5 modelinin bir çeşididir. T5 modelinden farkı çok dilli olmasıdır. mT5, genel amaçlı metinden metne formatı, büyük ölçekli ampirik bir çalışmanın içgörülerine dayalı tasarımı ve ölçeği gibi T5'in sahip olduğu özelliklerin çoğunu içerir. C4 veri setinin çok dilli bir varyantını kullandılar. Bu mC4'tür. 101 farklı dilden oluşur. Bu veri kümesi, web kazıma tarafından oluşturulur.

mT5 modeli, her biri çoklu öz-dikkat katmanı ve ileri besleme katmanı içeren bir dizi transformatör bloğundan oluşur. Öz-dikkat katmanları, modelin girdinin farklı kısımlarına farklı zamanlarda katılmasına izin verirken, ileri besleme katmanları girdiyi işler ve çıktı üretir.

İnce ayarlı modeli farklı metinler üzerinde test ettik. Bağlamları ve oluşturulan soruları aşağıda görebilirsiniz.

Örnek Test 1

İlk testin içeriği, TQuAD veri setinin doğrulama verilerinden alınmıştır. Oluşturulan tüm sorular anlamlı görünüyor.

Örnek Test 2

Örnek Test 3

Veri setimiz Türk ve İslam Bilim Tarihi paragraflarından oluştuğu için. Biz sadece modelimizi tarihsel olmayan bir veri üzerinde test etmek istedik. Sonuçlar anlamlıdır.

Bundan sonra ne yapacağız?

Hiperparametre ayarı yaparak modelin performansını artırmaya çalışacağız. Ayrıca mBERT modeline de göz atacağız. Okuduğunuz için teşekkürler.

unutma Yardıma ihtiyacınız olursa, “Barlas'ı Arasanız İyi Olur''.

Gelecek hafta görüşmek dileğiyle. Hoşçakal!

Mehmet Berat Ersarı & Zeynep Hafsa Dilmaç

Referanslar

[1] Xue, L., Constant, N., Roberts, A., Kale, M., Al-Rfou, R., Siddhant, A., Barua, A. ve Raffel, C. mt5: Büyük ölçüde çok dilli önceden eğitilmiş metinden metne dönüştürücü. 483–498, 01 2021. doi: 10.18653/v1/2021.naacl-main.41.