Introdução

Em 28 de novembro de 2022, a OpenAI lançou seu mais novo modelo GPT-3, davinci-003, que está sendo referido como “GPT-3.5”. Em seu boletim informativo, eles descreveram o seguinte:

Temos o prazer de anunciar o lançamento da mais nova adição à família de modelos GPT-3: `text-davinci-003`. Este modelo se baseia em nossos modelos anteriores do InstructGPT e melhora vários comportamentos que ouvimos serem importantes para vocês como desenvolvedores.

`text-davinci-003` inclui as seguintes melhorias:

Produz uma escrita de maior qualidade. Isso ajudará seus aplicativos a fornecer conteúdo mais claro, envolvente e atraente.

Ele pode lidar com instruções mais complexas, o que significa que você pode ser ainda mais criativo ao usar seus recursos agora.

É melhor na geração de conteúdo de forma mais longa, permitindo que você assuma tarefas que anteriormente seriam muito difíceis de realizar.

Nós da Intento experimentamos o novo modelo imediatamente, ficamos entusiasmados e achamos útil para várias tarefas de melhoria da qualidade da fonte e pós-edição automática em nossos fluxos de trabalho.

Algumas perguntas ainda permanecem:

• O GPT-3 pode ser usado como um modelo de tradução automática?
• Como o desempenho de tradução do GPT-3 se compara a modelos de MT mais restritos, como Google e DeepL?
• Como é a qualidade da tradução para domínios de conteúdo especializado, como Saúde ou Jurídico?
• Qual seria o custo por milhão de caracteres para tradução GPT-3?

Tradução de domínio geral

Configuração experimental

Para a tradução de domínio geral, escolhemos as direções inglês-espanhol e inglês-alemão. Coletamos amostras de 500 segmentos com traduções de referência de nosso benchmark State of the Machine Translation 2022 para cada direção. Utilizamos GPT-3 hospedado por OpenAI, modelo davinci-003 , com uma temperatura definida como 0 para resultados reprodutíveis.

Decidimos avaliar diferentes prompts para fazer o GPT-3 produzir traduções.

PROMPT 1: Translate this from English to {TARGET_LANGUAGE}:\n"""{SEGMENT}"""

PROMPT 2: The following is the text """{SEGMENT}""" translated from English to {TARGET LANGUAGE}: """

PROMPT 3: English text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 4: English: """{SEGMENT}"""\n{TARGET_LANGUAGE}: """

PROMPT 5:
TARGET_LANGUAGE_LOCAL = "Español"
English: """{SEGMENT}"""\n{TARGET_LANGUAGE_LOCAL}: """

Comparamos as traduções GPT-3 com as traduções feitas por mecanismos de MT de estoque conhecidos, como Amazon, Apptek, Baidu, DeepL, Google, IBM, Microsoft, ModernMT, Niutrans, Systran e Ubiqus.

Para avaliar a qualidade da MT, utilizamos a mesma versão da pontuação COMET baseada em referência que usamos em nosso relatório de setembro. Há uma versão mais recente do COMET publicada em dezembro de 2022, mas não esperamos que os resultados sejam muito diferentes.

Variabilidade de tradução

Com a temperatura definida como 0, não encontramos variabilidade de tradução para o mesmo prompt. Também realizamos um estudo mais amplo para a variabilidade e encontramos apenas um caso no domínio financeiro em que o GPT-3 produziu aleatoriamente “16 milhões de euros e 139 milhões de euros” ou “€ 16 milhões e € 139 milhões”.

Entre prompts diferentes, 35-45% das traduções são diferentes. No geral, as diferenças estão na capitalização, ordem das palavras, terminologia DNT, principalmente injustificada, e pontuação. Na maioria dos casos, exceto nos termos DNT, não há grande impacto na qualidade geral da tradução. Para o alemão, os maiores problemas são erros gramaticais para algumas tentativas em alguns prompts e escolhas questionáveis ​​de verbos, ou seja, alguns erros lexicais. No entanto, no geral, a qualidade é bastante sólida e não detectamos nenhum problema crítico.

Desempenho e confiabilidade da tradução

A tradução de um conjunto de dados de 500 segmentos normalmente leva cerca de 30 minutos, ou 3 a 4 segundos por segmento, o que é cerca de 10 vezes mais lento do que a maioria dos modelos padrão de tradução automática. Durante as traduções, registramos muitos erros de API, exigindo várias tentativas. Estamos planejando verificar se o GPT-3 implantado no Azure produz menos erros.

Qualidade da tradução

Com base na pontuação do COMET, não há diferença significativa entre os prompts acima.

Para inglês => espanhol, o GPT-3 teve um desempenho próximo aos melhores classificados (Google, Amazon, DeepL, Microsoft e ModernMT). No entanto, seu valor de pontuação média estava no lado inferior.

Para inglês => alemão, o GPT-3 está no segundo nível, com pontuações significativamente mais baixas do que os melhores classificados (DeepL, Google, Amazon e Microsoft).

Erros específicos de tradução da GPT-3 em espanhol

A LQA humana da tradução em espanhol por GPT-3 identificou alguns problemas: principalmente algumas omissões, DNTs falsos, alguns erros de terminologia e alguma gramática questionável. O prompt 2 produziu significativamente menos problemas críticos.

Exemplo de tradução incorreta da GPT-3 para inglês => espanhol

Exemplo de tradução GPT-3 falso problema DNT para inglês => espanhol

Exemplo de problema de gramática de tradução GPT-3 para inglês => espanhol

Exemplo de problema de tradução literal GPT-3 para inglês => espanhol

Exemplo de omissão de tradução GPT-3 para inglês => espanhol

Erros específicos de tradução da GPT-3 em alemão

A tradução GPT-3 do inglês para o alemão tem um grande número de traduções literais, alguns erros de tradução, DNT e problemas de terminologia.

Exemplo de tradução incorreta da GPT-3 para inglês => alemão

Exemplo de tradução GPT-3 Falso problema de DNT para inglês => alemão

Exemplo de problema de gramática de tradução GPT-3 para inglês => alemão

Exemplo de problema de terminologia de tradução GPT-3 para inglês => alemão

Exemplo de problema de omissão de tradução GPT-3 para inglês => alemão

Tradução no domínio

Aqui, escolhemos o alemão (como um idioma em que vemos mais desafios) e traduzimos os domínios jurídico e de saúde (500 segmentos cada) com o prompt de domínio geral mais curto abaixo (já que tiveram o mesmo desempenho) e algumas variações de prompts específicos de domínio .

Solicita a tradução específica do domínio

PROMPT 1: (non-domain-specifc prompt)
English: """{SEGMENT}"""\n{TARGET_LANGUAGE}: """

PROMPT 2:
Translate this from English to {TARGET_LANGUAGE}, topic - {DOMAIN}:\n"""{SEGMENT}"""

PROMPT 3:
English {DOMAIN} text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 4:
English text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE} using {DOMAIN} terminology: """

PROMPT 5:
English text with {DOMAIN} terminology: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 6:
English ({DOMAIN}): """{SEGMENT}"""\n{TARGET_LANGUAGE} ({DOMAIN}): """

Em termos de variabilidade de prompt, o prompt 2 tem correlação 0 com o restante porque adiciona \n\n desnecessários. O resto dos prompts se correlacionam um pouco, com 30 a 40% das traduções sendo as mesmas.

Qualidade de tradução GPR-3 para textos específicos do domínio

O GPT-3 teve uma pontuação bastante baixa em todos os prompts que tentamos em comparação com os motores MT de uso geral. O prompt sem domínio 1 é o último entre todos os prompts ou na metade inferior. O prompt 5 produz as traduções de classificação mais alta.

Gráfico de desempenho para conteúdo jurídico:

Gráfico de desempenho para conteúdo de saúde:

Erros de tradução GPT-3 para textos específicos do domínio

No domínio Jurídico, há uma frase em que a primeira metade não faz sentido, e vários erros de tradução, tradução literal, omissões, problemas gramaticais e repetições.

Na Saúde, a situação é um pouco melhor, com menos problemas moderados. Ainda existem traduções literais, erros de tradução, alguns problemas de terminologia e alguns problemas gramaticais. No geral, podemos concluir que há problemas, mas eles não atrapalham muito o significado dos segmentos.

Custos de tradução GPT-3

Dividimos os custos totais conforme apresentados no console OpenAI pela quantidade de conteúdo que traduzimos por meio do modelo davinci GPT-3 para este experimento (sem modelos de prompt) e estimamos o custo médio de tradução em US$ 12 por 1 milhão de caracteres.

Conclusões

O GPT-3 oferece uma maneira de traduzir texto entre idiomas usando uma API. Existem alguns prompts diferentes disponíveis, mas os resultados da tradução entre eles geralmente são bastante semelhantes.

Descobrimos que as traduções GPT-3 estão entre os melhores mecanismos comerciais de tradução automática de inglês para espanhol, mas caem no segundo nível de inglês para alemão.

Quando se trata de textos específicos do domínio, como Jurídico e Saúde, as traduções do GPT-3 não estão à altura, mesmo ao usar prompts específicos do domínio. Nesses casos, os motores MT de uso geral têm desempenho muito melhor. Confira nosso relatório anual State of the MT para descobrir quais mecanismos utilizar para seus pares de idiomas e domínios.

A partir de hoje, o GPT-3 implantado no OpenAI para tradução funciona significativamente mais lento do que os mecanismos MT comerciais, resultando em um número considerável de erros de API.

Ao mesmo tempo, em nossos outros experimentos, achamos notável o desempenho do GPT-3 na reescrita e estilização de texto no mesmo idioma. Além disso, a geração de conteúdo multilíngue produziu bons resultados em geral. A tarefa de tradução provavelmente apresenta um desafio único, exigindo criatividade e requisitos rigorosos para a saída, tornando-a mais difícil para o GPT-3 do que para outras tarefas.

Estamos planejando continuar realizando experimentos com as versões refinadas do GPT-3, bem como com o futuro GPT-4. Fique de olho!