Introduction

Le 28 novembre 2022, OpenAI a publié son nouveau modèle GPT-3, davinci-003, appelé « GPT-3.5 ». Dans leur newsletter, ils l'ont décrit comme suit :

Nous sommes ravis d'annoncer la sortie du dernier ajout à la famille de modèles GPT-3 : `text-davinci-003`. Ce modèle s'appuie sur nos précédents modèles InstructGPT et améliore un certain nombre de comportements qui, selon nous, sont importants pour vous en tant que développeurs.

`text-davinci-003` inclut les améliorations suivantes :

Il produit une écriture de meilleure qualité. Cela aidera vos applications à fournir un contenu plus clair, plus engageant et plus convaincant.

Il peut gérer des instructions plus complexes, ce qui signifie que vous pouvez être encore plus créatif dans la façon dont vous utilisez ses capacités maintenant.

C'est mieux pour la génération de contenu de forme plus longue, ce qui vous permet d'entreprendre des tâches qui auraient été auparavant trop difficiles à réaliser.

Chez Intento, nous avons immédiatement essayé le nouveau modèle, nous nous sommes enthousiasmés et l'avons trouvé utile pour diverses tâches d'amélioration de la qualité de la source et de post-édition automatique dans nos flux de travail.

Quelques questions subsistent encore :

• GPT-3 peut-il être utilisé comme modèle de traduction automatique ?
• Comment les performances de traduction de GPT-3 se comparent-elles à des modèles de traduction automatique plus étroits, tels que Google et DeepL ?
• Quelle est la qualité de la traduction pour les domaines de contenu spécialisés, tels que la santé ou le droit ?
• Quel serait le coût par million de caractères d'une traduction GPT-3 ?

Traduction de domaine général

Cadre expérimental

Pour la traduction du domaine général, nous avons choisi les directions anglais vers espagnol et anglais vers allemand. Nous avons pris des échantillons de 500 segments avec des traductions de référence de notre benchmark State of the Machine Translation 2022 pour chaque direction. Nous avons utilisé GPT-3 hébergé par OpenAI, modèle davinci-003 , avec une température réglée sur 0 pour des résultats reproductibles.

Nous avons décidé d'évaluer différentes invites pour que GPT-3 produise des traductions.

PROMPT 1: Translate this from English to {TARGET_LANGUAGE}:\n"""{SEGMENT}"""

PROMPT 2: The following is the text """{SEGMENT}""" translated from English to {TARGET LANGUAGE}: """

PROMPT 3: English text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 4: English: """{SEGMENT}"""\n{TARGET_LANGUAGE}: """

PROMPT 5:
TARGET_LANGUAGE_LOCAL = "Español"
English: """{SEGMENT}"""\n{TARGET_LANGUAGE_LOCAL}: """

Nous avons comparé les traductions GPT-3 aux traductions effectuées par des moteurs de traduction automatique bien connus, tels qu'Amazon, Apptek, Baidu, DeepL, Google, IBM, Microsoft, ModernMT, Niutrans, Systran et Ubiqus.

Pour évaluer la qualité de la MT, nous avons utilisé la même version du score COMET basé sur la référence que celle que nous avons utilisée dans notre rapport de septembre. Il existe une version plus récente de COMET publiée en décembre 2022, mais nous ne nous attendons pas à ce que les résultats soient très différents.

Variabilité de la traduction

Avec la température définie sur 0, nous n'avons trouvé aucune variabilité de traduction pour la même invite. Nous avons également mené une étude plus large sur la variabilité et n'avons trouvé qu'un seul cas dans le domaine financier où GPT-3 a produit au hasard soit "16 millions d'euros et 139 millions d'euros" soit "16 millions d'euros et 139 millions d'euros".

Entre différentes invites, 35 à 45 % des traductions sont différentes. Dans l'ensemble, les différences concernent la casse, l'ordre des mots, la terminologie DNT, la plupart du temps injustifiée, et la ponctuation. Dans la plupart des cas, à l'exception des termes DNT, il n'y a pas d'impact important sur la qualité globale de la traduction. Pour l'allemand, les plus gros problèmes sont les erreurs grammaticales pour certaines tentatives dans certaines invites et les choix de verbes discutables, c'est-à-dire certaines erreurs lexicales. Cependant, dans l'ensemble, la qualité est assez solide et nous n'avons pu détecter aucun problème critique.

Performance et fiabilité de la traduction

La traduction d'un ensemble de données de 500 segments prenait généralement environ 30 minutes, ou 3 à 4 secondes par segment, ce qui est environ 10 fois plus lent que la plupart des modèles de traduction automatique en stock. Lors des traductions, nous avons enregistré de nombreuses erreurs d'API, nécessitant plusieurs tentatives. Nous prévoyons de vérifier si GPT-3 déployé sur Azure produit moins d'erreurs.

Qualité de la traduction

Sur la base du score COMET, il n'y a pas de différence significative entre les invites ci-dessus.

Pour l'anglais => espagnol, GPT-3 a été proche des meilleurs (Google, Amazon, DeepL, Microsoft et ModernMT). Cependant, sa valeur de score moyenne était inférieure.

Pour l'anglais => allemand, GPT-3 se situe au deuxième niveau, avec des scores nettement inférieurs à ceux des meilleurs (DeepL, Google, Amazon et Microsoft).

Erreurs de traduction spécifiques GPT-3 en espagnol

Le LQA humain de la traduction espagnole par GPT-3 a identifié quelques problèmes : principalement des omissions, de faux DNT, des erreurs de terminologie et une grammaire douteuse. L'invite 2 a généré beaucoup moins de problèmes critiques.

Exemple d'erreur de traduction GPT-3 pour l'anglais => espagnol

Exemple de traduction GPT-3 faux problème DNT pour l'anglais => espagnol

Exemple de problème de grammaire de traduction GPT-3 pour l'anglais => espagnol

Exemple de problème de traduction littérale GPT-3 pour l'anglais => espagnol

Exemple d'omission de traduction GPT-3 pour l'anglais => espagnol

Erreurs de traduction spécifiques GPT-3 en allemand

La traduction GPT-3 de l'anglais vers l'allemand comporte un grand nombre de traductions littérales, des erreurs de traduction, des DNT et des problèmes de terminologie.

Exemple d'erreur de traduction GPT-3 pour l'anglais => allemand

Exemple de traduction GPT-3 Faux problème DNT pour l'anglais => allemand

Exemple de problème de grammaire de traduction GPT-3 pour l'anglais => allemand

Exemple de problème de terminologie de traduction GPT-3 pour l'anglais => allemand

Exemple de problème d'omission de traduction GPT-3 pour l'anglais => allemand

Traduction dans le domaine

Ici, nous avons choisi l'allemand (comme langue où nous voyons plus de défis) et avons traduit les domaines juridique et de la santé (500 segments chacun) avec l'invite de domaine général la plus courte ci-dessous (car ils ont à peu près les mêmes performances) et quelques variantes d'invites spécifiques au domaine. .

Invites pour la traduction spécifique au domaine

PROMPT 1: (non-domain-specifc prompt)
English: """{SEGMENT}"""\n{TARGET_LANGUAGE}: """

PROMPT 2:
Translate this from English to {TARGET_LANGUAGE}, topic - {DOMAIN}:\n"""{SEGMENT}"""

PROMPT 3:
English {DOMAIN} text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 4:
English text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE} using {DOMAIN} terminology: """

PROMPT 5:
English text with {DOMAIN} terminology: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 6:
English ({DOMAIN}): """{SEGMENT}"""\n{TARGET_LANGUAGE} ({DOMAIN}): """

En termes de variabilité des invites, l'invite 2 a une corrélation de 0 avec le reste car elle ajoute inutilement \n\n. Le reste des invites est quelque peu corrélé, 30 à 40 % des traductions étant identiques.

Qualité de traduction GPR-3 pour les textes spécifiques à un domaine

GPT-3 a obtenu des scores assez bas pour toutes les invites que nous avons essayées par rapport aux moteurs MT standard à usage général. L'invite sans domaine 1 est la dernière parmi toutes les invites ou dans la moitié inférieure. L'invite 5 produit les traductions les mieux classées.

Graphique de performance pour le contenu juridique :

Graphique de performances pour le contenu relatif à la santé :

Erreurs de traduction GPT-3 pour les textes spécifiques à un domaine

Dans le domaine juridique, il y a une phrase dont la première moitié n'a pas de sens, et plusieurs erreurs de traduction, traductions littérales, omissions, problèmes grammaticaux et répétitions.

Dans la Santé, la situation est légèrement meilleure, avec moins d'émissions modérées. Il y a encore des traductions littérales, des erreurs de traduction, des problèmes de terminologie et des problèmes de grammaire. Dans l'ensemble, nous pouvons conclure qu'il y a des problèmes, mais ils n'entravent pas gravement la signification des segments.

Coûts de traduction GPT-3

Nous avons divisé les coûts totaux tels que présentés dans la console OpenAI par la quantité de contenu que nous avons traduit via le modèle Davinci GPT-3 pour cette expérience (sans modèles d'invite) et avons estimé le coût de traduction moyen à 12 USD pour 1 million de caractères.

conclusion

GPT-3 offre un moyen de traduire du texte entre les langues à l'aide d'une API. Il existe quelques invites différentes disponibles, mais les résultats de la traduction entre elles sont généralement assez similaires.

Nous avons constaté que les traductions GPT-3 font partie des meilleurs moteurs de traduction automatique commerciaux pour l'anglais vers l'espagnol, mais qu'elles se situent au deuxième niveau pour l'anglais vers l'allemand.

En ce qui concerne les textes spécifiques à un domaine tels que Juridique et Santé, les traductions GPT-3 ne sont pas à la hauteur, même lors de l'utilisation d'invites spécifiques à un domaine. Dans ces cas, les moteurs MT d'origine à usage général fonctionnent beaucoup mieux. Consultez notre rapport annuel sur l'état de la traduction automatique pour déterminer les moteurs à utiliser pour vos paires de langues et vos domaines.

À ce jour, GPT-3 déployé chez OpenAI pour la traduction fonctionne beaucoup plus lentement que les moteurs de traduction automatique commerciaux, ce qui entraîne un nombre considérable d'erreurs d'API.

Dans le même temps, dans nos autres expériences, nous avons constaté que les performances de GPT-3 en matière de réécriture et de stylisation de texte dans la même langue étaient tout à fait remarquables. De plus, la génération de contenu multilingue a généralement donné de bons résultats. La tâche de traduction présente probablement un défi unique, nécessitant à la fois de la créativité et des exigences strictes pour la sortie, ce qui la rend plus difficile pour GPT-3 que pour d'autres tâches.

Nous prévoyons de continuer à mener des expériences avec les versions raffinées de GPT-3, ainsi que le prochain GPT-4. Garde un œil ouvert!