вступление

28 ноября 2022 года OpenAI выпустила свою новейшую модель GPT-3, davinci-003, которая называется «GPT-3.5». В своем информационном бюллетене они описали это следующим образом:

Мы рады объявить о выпуске новейшего дополнения к семейству моделей GPT-3: text-davinci-003. Эта модель основывается на наших предыдущих моделях InstructGPT и улучшает ряд поведений, которые, как мы слышали, важны для вас как для разработчиков.

`text-davinci-003` включает следующие улучшения:

Это обеспечивает более высокое качество письма. Это поможет вашим приложениям предоставлять более четкий, привлекательный и привлекательный контент.

Он может обрабатывать более сложные инструкции, а это означает, что теперь вы можете еще более творчески использовать его возможности.

Он лучше подходит для генерации более длинного контента, позволяя вам выполнять задачи, которые раньше были бы слишком сложными для выполнения.

Мы в Intento сразу же опробовали новую модель, были в восторге и нашли ее полезной для различных задач улучшения качества исходного кода и автоматического постредактирования в наших рабочих процессах.

Еще осталось несколько вопросов:

• Можно ли использовать GPT-3 в качестве модели машинного перевода?
• Как производительность перевода GPT-3 сравнивается с более узкими моделями машинного перевода, такими как Google и DeepL?
• Каково качество перевода для специализированных предметных областей, таких как здравоохранение или юриспруденция?
• Какова будет стоимость перевода GPT-3 за миллион символов?

Общий перевод домена

Экспериментальная установка

Для общего перевода домена мы выбрали направления с английского на испанский и с английского на немецкий. Мы взяли образцы из 500 сегментов с эталонными переводами из нашего теста State of the Machine Translation 2022 для каждого направления. Мы использовали GPT-3, размещенный на OpenAI, модель davinci-003 с температурой , установленной на 0 для воспроизводимых результатов.

Мы решили оценить различные подсказки, чтобы заставить GPT-3 производить переводы.

PROMPT 1: Translate this from English to {TARGET_LANGUAGE}:\n"""{SEGMENT}"""

PROMPT 2: The following is the text """{SEGMENT}""" translated from English to {TARGET LANGUAGE}: """

PROMPT 3: English text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 4: English: """{SEGMENT}"""\n{TARGET_LANGUAGE}: """

PROMPT 5:
TARGET_LANGUAGE_LOCAL = "Español"
English: """{SEGMENT}"""\n{TARGET_LANGUAGE_LOCAL}: """

Мы сравнили переводы GPT-3 с переводами, сделанными известными стандартными машинами машинного перевода, такими как Amazon, Apptek, Baidu, DeepL, Google, IBM, Microsoft, ModernMT, Niutrans, Systran и Ubiqus.

Для оценки качества МТ мы использовали ту же версию эталонной оценки COMET, что и в нашем сентябрьском отчете. Есть более свежая версия COMET, опубликованная в декабре 2022 года, но мы не ожидаем, что результаты будут сильно отличаться.

Вариативность перевода

При температуре, установленной на 0, мы не обнаружили изменчивости перевода для той же подсказки. Мы также провели более широкое исследование изменчивости и обнаружили только один случай в финансовой сфере, когда GPT-3 случайным образом произвел либо «16 миллионов евро на 139 миллионов евро», либо «16 миллионов евро на 139 миллионов евро».

Между разными подсказками 35-45% переводов разные. В целом, различия заключаются в использовании заглавных букв, порядке слов, терминологии DNT, в основном необоснованной, и пунктуации. В большинстве случаев, за исключением терминов DNT, это не оказывает большого влияния на общее качество перевода. Для немецкого языка самыми большими проблемами являются грамматические ошибки при некоторых попытках в некоторых подсказках и сомнительный выбор глаголов, т.е. некоторые лексические ошибки. Однако в целом качество довольно стабильное, и мы не обнаружили никаких критических проблем.

Производительность и надежность перевода

Перевод набора данных из 500 сегментов обычно занимал около 30 минут или 3–4 секунды на сегмент, что примерно в 10 раз медленнее, чем у большинства стандартных моделей машинного перевода. Во время переводов мы зарегистрировали множество ошибок API, требующих многократных повторных попыток. Мы планируем проверить, вызывает ли GPT-3, развернутый в Azure, меньше ошибок.

Качество перевода

Судя по оценке COMET, между приведенными выше подсказками нет существенной разницы.

Для английского => испанского языки GPT-3 показали результаты, близкие к лидерам (Google, Amazon, DeepL, Microsoft и ModernMT). Тем не менее, его средний балл был ниже.

Для английского языка => немецкого GPT-3 находится на втором уровне, его оценки значительно ниже, чем у лидеров (DeepL, Google, Amazon и Microsoft).

Конкретные ошибки перевода GPT-3 на испанский язык

Человеческий LQA испанского перевода GPT-3 выявил несколько проблем: в основном некоторые упущения, ложные DNT, некоторые терминологические ошибки и некоторые сомнительные грамматические вопросы. Подсказка 2 вызвала значительно меньше критических проблем.

Пример неправильного перевода GPT-3 для английского => испанского

Пример перевода GPT-3 с ложной ошибкой DNT для английского => испанского

Пример проблемы с грамматикой перевода GPT-3 для английского => испанского языка

Пример буквального перевода GPT-3 для английского => испанского

Образец отсутствия перевода GPT-3 для английского языка => испанский

Конкретные ошибки перевода GPT-3 на немецкий язык

Перевод GPT-3 с английского на немецкий имеет большое количество дословных переводов, некоторые неправильные переводы, DNT и проблемы с терминологией.

Пример неправильного перевода GPT-3 для английского языка => немецкий

Пример перевода GPT-3 False DNT issue for English => German

Пример проблемы с грамматикой перевода GPT-3 для английского языка => немецкий

Пример проблемы терминологии перевода GPT-3 для английского языка => немецкий

Пример проблемы отсутствия перевода GPT-3 для английского языка => немецкий

Внутридоменный перевод

Здесь мы выбрали немецкий язык (как язык, с которым мы видим больше проблем) и перевели домены Legal и Healthcare (по 500 сегментов в каждом) с самой короткой подсказкой общего домена ниже (поскольку они работали примерно одинаково) и несколькими вариантами подсказок для конкретных доменов. .

Запросы на перевод для конкретного домена

PROMPT 1: (non-domain-specifc prompt)
English: """{SEGMENT}"""\n{TARGET_LANGUAGE}: """

PROMPT 2:
Translate this from English to {TARGET_LANGUAGE}, topic - {DOMAIN}:\n"""{SEGMENT}"""

PROMPT 3:
English {DOMAIN} text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 4:
English text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE} using {DOMAIN} terminology: """

PROMPT 5:
English text with {DOMAIN} terminology: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 6:
English ({DOMAIN}): """{SEGMENT}"""\n{TARGET_LANGUAGE} ({DOMAIN}): """

С точки зрения изменчивости подсказки, подсказка 2 имеет 0 корреляцию с остальными, потому что она добавляет ненужные \n\n. Остальные подсказки несколько коррелируют, причем 30–40% переводов совпадают.

Качество перевода GPR-3 для текстов, специфичных для предметной области

GPT-3 набрал довольно низкие баллы по всем подсказкам, которые мы пробовали, по сравнению со стандартными двигателями МТ общего назначения. Подсказка 1 без домена является последней среди всех подсказок или в нижней половине. Подсказка 5 производит переводы с наивысшим рангом.

График эффективности легального контента:

Диаграмма эффективности контента для здравоохранения:

Ошибки перевода GPT-3 для текстов, относящихся к домену

В области права есть одно предложение, первая половина которого не имеет смысла, а также несколько неправильных переводов, дословных переводов, упущений, грамматических ошибок и повторов.

В здравоохранении ситуация немного лучше, с меньшим количеством умеренных проблем. Есть еще дословные переводы, неправильные переводы, некоторые проблемы с терминологией и некоторые грамматические проблемы. В целом можно сделать вывод, что проблемы есть, но они не сильно мешают смыслу сегментов.

Стоимость перевода GPT-3

Мы разделили общую стоимость, представленную в консоли OpenAI, на объем контента, который мы перевели с помощью модели Давинчи GPT-3 для этого эксперимента (без шаблонов подсказок), и оценили среднюю стоимость перевода в 12 долларов США за 1 миллион символов.

Выводы

GPT-3 предлагает способ перевода текста между языками с помощью API. Доступно несколько разных подсказок, но результаты перевода между ними обычно очень похожи.

Мы обнаружили, что переводы GPT-3 являются одними из лучших коммерческих машин машинного перевода для английского языка на испанский язык, но они относятся ко второму уровню для английского языка на немецкий язык.

Когда дело доходит до текстов, относящихся к предметной области, таких как Legal и Healthcare, переводы GPT-3 не на должном уровне, даже при использовании подсказок для конкретной области. В этих случаях штатные двигатели МТ общего назначения работают намного лучше. Ознакомьтесь с нашим ежегодным отчетом о состоянии машинного перевода , чтобы выяснить, какие механизмы использовать для ваших языковых пар и доменов.

На сегодняшний день GPT-3, развернутый в OpenAI для перевода, работает значительно медленнее, чем коммерческие механизмы машинного перевода, что приводит к значительному количеству ошибок API.

В то же время в других наших экспериментах мы обнаружили, что производительность GPT-3 при переписывании и стилизации текста на одном языке весьма замечательна. Кроме того, создание многоязычного контента в целом дало хорошие результаты. Задача перевода, вероятно, представляет собой уникальную задачу, требующую как творческого подхода, так и строгих требований к результату, что делает ее более сложной для GPT-3, чем другие задачи.

Мы планируем продолжить эксперименты с усовершенствованными версиями GPT-3, а также с готовящейся к выпуску GPT-4. Следите!