Giriş

28 Kasım 2022'de OpenAI, "GPT-3.5" olarak anılan en yeni GPT-3 modeli davinci-003'ü piyasaya sürdü. Bültenlerinde bunu şöyle anlatmışlar:

GPT-3 model ailesinin en yeni üyesini duyurmaktan heyecan duyuyoruz: `text-davinci-003`. Bu model, önceki InstructGPT modellerimizin üzerine kuruludur ve geliştiriciler olarak sizin için önemli olduğunu duyduğumuz bir dizi davranışı geliştirir.

`text-davinci-003` aşağıdaki iyileştirmeleri içerir:

Daha kaliteli yazı üretir. Bu, uygulamalarınızın daha net, daha ilgi çekici ve daha çekici içerik sunmasına yardımcı olacaktır.

Daha karmaşık talimatları işleyebilir, yani şimdi onun yeteneklerinden nasıl yararlanacağınız konusunda daha da yaratıcı olabilirsiniz.

Daha önce başarılması çok zor olan görevleri üstlenmenize izin vererek, daha uzun içerik oluşturmada daha iyidir.

Intento'da yeni modeli hemen denedik, heyecanlandık ve iş akışlarımızdaki çeşitli Kaynak Kalitesi İyileştirme ve Otomatik Son Düzenleme görevleri için yararlı bulduk.

Hala birkaç soru var:

• GPT-3, Makine Çevirisi modeli olarak kullanılabilir mi?
• GPT-3'ün çeviri performansı, Google ve DeepL gibi daha dar MT modelleriyle karşılaştırıldığında nasıldır?
• Sağlık veya Hukuk gibi özel içerik alanlarının çeviri kalitesi nasıldır?
• GPT-3 çevirisi için milyon karakter başına maliyet ne olur?

Genel alan çevirisi

deneysel ortam

Genel alan adı çevirisi için İngilizce'den İspanyolca'ya ve İngilizce'den Almanca'ya yönlendirmeleri seçtik. Her yön için State of the Machine Translation 2022 karşılaştırmalı değerlendirmemizden referans çevirilerle birlikte 500 segmentli örnekler aldık. Tekrarlanabilir sonuçlar için sıcaklığı 0 olarak ayarlanmış OpenAI , model davinci-003 tarafından barındırılan GPT-3'ü kullandık .

GPT-3'ün çeviri üretmesini sağlamak için farklı istemleri değerlendirmeye karar verdik.

PROMPT 1: Translate this from English to {TARGET_LANGUAGE}:\n"""{SEGMENT}"""

PROMPT 2: The following is the text """{SEGMENT}""" translated from English to {TARGET LANGUAGE}: """

PROMPT 3: English text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 4: English: """{SEGMENT}"""\n{TARGET_LANGUAGE}: """

PROMPT 5:
TARGET_LANGUAGE_LOCAL = "Español"
English: """{SEGMENT}"""\n{TARGET_LANGUAGE_LOCAL}: """

GPT-3 çevirilerini Amazon, Apptek, Baidu, DeepL, Google, IBM, Microsoft, ModernMT, Niutrans, Systran ve Ubiqus gibi iyi bilinen stok MT motorları tarafından yapılan çevirilerle karşılaştırdık.

MT kalitesini değerlendirmek için Eylül raporumuzda kullandığımız referansa dayalı COMET puanının aynı sürümünü kullandık. Aralık 2022'de yayınlanan daha yeni bir COMET sürümü var, ancak sonuçların çok farklı olmasını beklemiyoruz.

çeviri değişkenliği

Sıcaklık 0'a ayarlandığında, aynı bilgi istemi için çeviri değişkenliği bulamadık. Ayrıca değişkenlik için daha geniş bir çalışma yürüttük ve finansal alanda GPT-3'ün rastgele "16 milyon avro ve 139 milyon avro" veya "16 milyon avro ve 139 milyon avro" ürettiği yalnızca bir vaka bulduk.

Farklı istemler arasında çevirilerin %35-45'i farklıdır. Genel olarak, farklılıklar büyük harf kullanımı, kelime sırası, DNT terminolojisi, çoğunlukla haksız ve noktalama işaretleridir. Çoğu durumda, DNT terimleri dışında, genel çeviri kalitesi üzerinde büyük bir etkisi yoktur. Almanca için en büyük sorunlar, bazı istemlerdeki bazı girişimlerdeki dilbilgisi hataları ve sorgulanabilir fiil seçimleridir, yani bazı sözcüksel hatalar. Ancak, genel olarak kalite oldukça sağlam ve kritik bir sorun tespit edemedik.

Çeviri performansı ve güvenilirliği

500 parçalı bir veri kümesinin çevirisi genellikle yaklaşık 30 dakika veya bölüm başına 3-4 saniye sürdü; bu, stok Makine Çevirisi modellerinin çoğundan yaklaşık 10 kat daha yavaştır. Çeviriler sırasında, birden çok yeniden deneme gerektiren birçok API hatası kaydettik. Azure'da dağıtılan GPT-3'ün daha az hata üretip üretmediğini kontrol etmeyi planlıyoruz.

çeviri kalitesi

COMET puanlamasına göre, yukarıdaki istemler arasında önemli bir fark yoktur.

İngilizce => İspanyolca için GPT-3, en iyilere (Google, Amazon, DeepL, Microsoft ve ModernMT) yakın bir performans sergiledi. Ancak, ortalama puan değeri alt taraftaydı.

İngilizce => Almanca için, GPT-3 ikinci kademededir ve puanları en iyilerden (DeepL, Google, Amazon ve Microsoft) önemli ölçüde düşüktür.

İspanyolca'daki belirli GPT-3 çeviri hataları

GPT-3'ün İspanyolca çevirisinin insan LQA'sı birkaç sorun belirledi: çoğunlukla bazı eksiklikler, yanlış DNT'ler, bazı terminoloji hataları ve bazı şüpheli gramer. İstem 2, önemli ölçüde daha az kritik sorun üretti.

İngilizce => İspanyolca için örnek GPT-3 yanlış çevirisi

İngilizce => İspanyolca için örnek GPT-3 çevirisi yanlış DNT sorunu

İngilizce => İspanyolca için örnek GPT-3 çeviri grameri sorunu

İngilizce => İspanyolca için örnek değişmez GPT-3 çeviri sorunu

İngilizce => İspanyolca için örnek GPT-3 çeviri ihmali

Almanca'daki belirli GPT-3 çeviri hataları

İngilizce'den Almanca'ya GPT-3 çevirisinde çok sayıda birebir çeviri, bazı yanlış çeviriler, DNT ve terminoloji sorunları vardır.

İngilizce => Almanca için örnek GPT-3 yanlış çevirisi

Örnek GPT-3 çevirisi İngilizce => Almanca için yanlış DNT sorunu

İngilizce => Almanca için örnek GPT-3 çeviri grameri sorunu

İngilizce => Almanca için örnek GPT-3 çeviri terminolojisi sorunu

İngilizce => Almanca için örnek GPT-3 çeviri eksikliği sorunu

Alan içi çeviri

Burada Almanca'yı seçtik (daha fazla zorluk gördüğümüz bir dil olarak) ve Hukuk ve Sağlık alanlarını (her biri 500 segment) aşağıdaki en kısa genel alan istemi (hemen hemen aynı performansı sergiledikleri için) ve alana özgü istemlerin birkaç varyasyonu ile çevirdik .

Etki alanına özel çeviri istemleri

PROMPT 1: (non-domain-specifc prompt)
English: """{SEGMENT}"""\n{TARGET_LANGUAGE}: """

PROMPT 2:
Translate this from English to {TARGET_LANGUAGE}, topic - {DOMAIN}:\n"""{SEGMENT}"""

PROMPT 3:
English {DOMAIN} text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 4:
English text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE} using {DOMAIN} terminology: """

PROMPT 5:
English text with {DOMAIN} terminology: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 6:
English ({DOMAIN}): """{SEGMENT}"""\n{TARGET_LANGUAGE} ({DOMAIN}): """

Bilgi istemi değişkenliği açısından, bilgi istemi 2'nin geri kalanıyla 0 korelasyonu vardır çünkü gereksiz \n\n ekler. İstemlerin geri kalanı, çevirilerin %30-40'ı aynı olduğu için bir şekilde ilişkilidir.

Alana özgü metinler için GPR-3 çeviri kalitesi

GPT-3, genel amaçlı stok MT motorlarına kıyasla denediğimiz tüm istemlerde oldukça düşük puan aldı. Etki alanı olmayan bilgi istemi 1, tüm istemler arasında en sonda veya alt yarıda yer alır. İstem 5, en yüksek dereceli çevirileri üretir.

Yasal içerik için performans tablosu:

Sağlık içeriği için performans tablosu:

Alana özgü metinler için GPT-3 çeviri hataları

Hukuk alanında, ilk yarısının anlamsız olduğu bir cümle ve birkaç yanlış çeviri, harfi harfine çeviri, atlama, gramer sorunları ve tekrarlar vardır.

Sağlık Hizmetinde, daha az orta düzeyde sorunla durum biraz daha iyi. Hâlâ birebir çeviriler, yanlış çeviriler, bazı terminoloji sorunları ve bazı gramer sorunları var. Genel olarak, sorunların olduğu sonucuna varabiliriz, ancak bunlar bölümlerin anlamını ciddi şekilde engellemez.

GPT-3 Çeviri Maliyetleri

OpenAI konsolunda sunulan toplam maliyetleri, bu deney için (bilgi istemi şablonları olmadan) GPT-3 davinci modeli aracılığıyla çevirdiğimiz içeriğin miktarına böldük ve ortalama çeviri maliyetinin 1 milyon karakter başına 12 ABD doları olduğunu tahmin ettik.

Sonuçlar

GPT-3, bir API kullanarak diller arasında metin çevirmenin bir yolunu sunar. Birkaç farklı bilgi istemi vardır, ancak aralarındaki çeviri sonuçları genellikle oldukça benzerdir.

GPT-3 çevirilerinin İngilizce'den İspanyolca'ya en iyi ticari MT motorları arasında olduğunu bulduk, ancak İngilizce'den Almanca'ya için ikinci aşamaya düşüyorlar.

Hukuk ve Sağlık gibi alana özgü metinler söz konusu olduğunda, alana özel istemler kullanılırken bile GPT-3 çevirileri eşit değildir. Bu durumlarda, stok, genel amaçlı MT motorları çok daha iyi performans gösterir. Dil çiftleriniz ve etki alanlarınız için hangi motorların kullanılacağını öğrenmek için yıllık MT'nin Durumu raporumuza göz atın .

Bugün itibariyle, çeviri için OpenAI'de dağıtılan GPT-3, ticari MT motorlarından önemli ölçüde daha yavaş çalışıyor ve bu da önemli sayıda API hatasına neden oluyor.

Aynı zamanda, diğer deneylerimizde GPT-3'ün aynı dilde metin yeniden yazma ve stilizasyon performansını oldukça dikkat çekici bulduk. Ek olarak, çok dilli içerik üretimi genel olarak iyi sonuçlar vermiştir. Çeviri görevi, çıktı için hem yaratıcılık hem de katı gereksinimler gerektiren, muhtemelen benzersiz bir zorluk sunar ve bu da GPT-3'ü diğer görevlerden daha zor hale getirir.

GPT-3'ün iyileştirilmiş sürümleri ve yakında çıkacak olan GPT-4 ile denemeler yapmaya devam etmeyi planlıyoruz. Dikkatli olun!