giới thiệu

Vào ngày 28 tháng 11 năm 2022, OpenAI đã phát hành mẫu GPT-3 mới nhất của họ, davinci-003, được gọi là “GPT-3.5”. Trong bản tin của họ, họ đã mô tả nó như sau:

Chúng tôi vui mừng thông báo về việc phát hành phần bổ sung mới nhất cho dòng mô hình GPT-3: `text-davinci-003`. Mô hình này được xây dựng dựa trên các mô hình InstructGPT trước đây của chúng tôi và cải thiện một số hành vi mà chúng tôi được biết là quan trọng đối với bạn với tư cách là nhà phát triển.

`text-davinci-003` bao gồm các cải tiến sau:

Nó tạo ra văn bản chất lượng cao hơn. Điều này sẽ giúp các ứng dụng của bạn cung cấp nội dung rõ ràng hơn, hấp dẫn hơn và hấp dẫn hơn.

Nó có thể xử lý các lệnh phức tạp hơn, nghĩa là bạn có thể sáng tạo hơn nữa với cách bạn sử dụng các khả năng của nó ngay bây giờ.

Sẽ tốt hơn khi tạo nội dung ở dạng dài hơn, cho phép bạn đảm nhận các nhiệm vụ mà trước đây rất khó đạt được.

Tại Intento, chúng tôi đã dùng thử mô hình mới ngay lập tức, rất hào hứng và thấy nó hữu ích cho nhiều tác vụ Cải thiện Chất lượng Nguồn và Chỉnh sửa Hậu kỳ Tự động trong quy trình làm việc của chúng tôi.

Một vài câu hỏi vẫn còn:

• Có thể sử dụng GPT-3 làm mô hình Dịch máy không?
• Làm thế nào để hiệu suất dịch của GPT-3 so với các mô hình MT hẹp hơn, chẳng hạn như Google và DeepL?
• Chất lượng bản dịch như thế nào đối với các miền nội dung chuyên biệt, chẳng hạn như Chăm sóc sức khỏe hoặc Pháp lý?
• Chi phí trên một triệu ký tự cho bản dịch GPT-3 sẽ là bao nhiêu?

Bản dịch tên miền chung

cài đặt thử nghiệm

Đối với bản dịch tên miền chung, chúng tôi đã chọn hướng từ tiếng Anh sang tiếng Tây Ban Nha và từ tiếng Anh sang tiếng Đức. Chúng tôi đã lấy các mẫu 500 đoạn với các bản dịch tham khảo từ điểm chuẩn State of the Machine Translation 2022 cho mỗi hướng. Chúng tôi đã sử dụng GPT-3 do OpenAI lưu trữ, model davinci-003 , với nhiệt độ được đặt thành 0 để có kết quả lặp lại.

Chúng tôi đã quyết định đánh giá các lời nhắc khác nhau để GPT-3 tạo ra các bản dịch.

PROMPT 1: Translate this from English to {TARGET_LANGUAGE}:\n"""{SEGMENT}"""

PROMPT 2: The following is the text """{SEGMENT}""" translated from English to {TARGET LANGUAGE}: """

PROMPT 3: English text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 4: English: """{SEGMENT}"""\n{TARGET_LANGUAGE}: """

PROMPT 5:
TARGET_LANGUAGE_LOCAL = "Español"
English: """{SEGMENT}"""\n{TARGET_LANGUAGE_LOCAL}: """

Chúng tôi đã so sánh các bản dịch GPT-3 với các bản dịch được thực hiện bởi các công cụ MT có sẵn nổi tiếng, chẳng hạn như Amazon, Apptek, Baidu, DeepL, Google, IBM, Microsoft, ModernMT, Niutrans, Systran và Ubiqus.

Để đánh giá chất lượng MT, chúng tôi đã sử dụng cùng một phiên bản của điểm số COMET dựa trên tài liệu tham khảo như chúng tôi đã sử dụng trong báo cáo tháng 9 của mình. Có một phiên bản mới hơn của COMET được xuất bản vào tháng 12 năm 2022, nhưng chúng tôi không cho rằng kết quả sẽ khác nhiều.

biến dịch

Với nhiệt độ được đặt thành 0, chúng tôi không tìm thấy sự thay đổi bản dịch nào cho cùng một lời nhắc. Chúng tôi cũng đã thực hiện một nghiên cứu rộng hơn về tính biến thiên và chỉ tìm thấy một trường hợp trong lĩnh vực tài chính mà GPT-3 tạo ra ngẫu nhiên “16 triệu euro y 139 triệu euro” hoặc “16 triệu euro y 139 triệu euro”.

Giữa các lời nhắc khác nhau, 35-45% bản dịch là khác nhau. Nhìn chung, sự khác biệt nằm ở cách viết hoa, trật tự từ, thuật ngữ DNT, hầu hết là không chính đáng và dấu câu. Trong hầu hết các trường hợp, ngoại trừ các thuật ngữ DNT, không có tác động lớn đến chất lượng bản dịch tổng thể. Đối với tiếng Đức, vấn đề lớn nhất là lỗi ngữ pháp đối với một số nỗ lực trong một số lời nhắc và lựa chọn động từ có vấn đề, tức là một số lỗi từ vựng. Tuy nhiên, nhìn chung, chất lượng khá ổn định và chúng tôi không thể phát hiện ra vấn đề nghiêm trọng nào.

Hiệu suất và độ tin cậy của bản dịch

Quá trình dịch tập dữ liệu 500 đoạn thường mất khoảng 30 phút hoặc 3–4 giây cho mỗi đoạn, chậm hơn khoảng 10 lần so với hầu hết các mô hình Dịch máy có sẵn. Trong quá trình dịch, chúng tôi đã đăng ký nhiều lỗi API, yêu cầu thử lại nhiều lần. Chúng tôi đang lên kế hoạch kiểm tra xem liệu GPT-3 được triển khai tại Azure có tạo ra ít lỗi hơn hay không.

Chất lượng bản dịch

Dựa trên điểm COMET, không có sự khác biệt đáng kể giữa các lời nhắc trên.

Đối với tiếng Anh => tiếng Tây Ban Nha, GPT-3 có hiệu suất ngang bằng với các ứng dụng hàng đầu (Google, Amazon, DeepL, Microsoft và ModernMT). Tuy nhiên, giá trị điểm trung bình của nó ở phía thấp hơn.

Đối với tiếng Anh => tiếng Đức, GPT-3 ở bậc thứ hai, với điểm số thấp hơn đáng kể so với những người dẫn đầu (DeepL, Google, Amazon và Microsoft).

Các lỗi dịch GPT-3 cụ thể bằng tiếng Tây Ban Nha

LQA của con người đối với bản dịch tiếng Tây Ban Nha của GPT-3 đã xác định một số vấn đề: chủ yếu là một số thiếu sót, DNT sai, một số lỗi thuật ngữ và một số ngữ pháp có vấn đề. Lời nhắc 2 tạo ra ít sự cố nghiêm trọng hơn đáng kể.

Mẫu dịch sai GPT-3 sang tiếng Anh => tiếng Tây Ban Nha

Bản dịch mẫu GPT-3 vấn đề DNT sai cho tiếng Anh => tiếng Tây Ban Nha

Vấn đề ngữ pháp dịch GPT-3 mẫu cho tiếng Anh => tiếng Tây Ban Nha

Vấn đề dịch GPT-3 theo nghĩa đen mẫu sang tiếng Anh => tiếng Tây Ban Nha

Thiếu bản dịch GPT-3 mẫu cho tiếng Anh => tiếng Tây Ban Nha

Các lỗi dịch GPT-3 cụ thể bằng tiếng Đức

Bản dịch GPT-3 từ tiếng Anh sang tiếng Đức có một số lượng lớn các bản dịch theo nghĩa đen, một số bản dịch sai, DNT và các vấn đề về thuật ngữ.

Mẫu dịch sai GPT-3 sang tiếng Anh => tiếng Đức

Bản dịch mẫu GPT-3 Sự cố DNT sai cho tiếng Anh => tiếng Đức

Vấn đề ngữ pháp dịch GPT-3 mẫu cho tiếng Anh => tiếng Đức

Vấn đề về thuật ngữ dịch GPT-3 mẫu cho tiếng Anh => tiếng Đức

Vấn đề thiếu bản dịch GPT-3 mẫu cho tiếng Anh => tiếng Đức

Bản dịch trong miền

Ở đây, chúng tôi đã chọn tiếng Đức (là ngôn ngữ mà chúng tôi thấy có nhiều thách thức hơn) và đã dịch các miền Pháp lý và Chăm sóc sức khỏe (500 phân đoạn mỗi miền) với lời nhắc miền chung ngắn nhất bên dưới (khi chúng hoạt động tương tự) và một vài biến thể của lời nhắc theo miền cụ thể .

Lời nhắc dịch theo miền cụ thể

PROMPT 1: (non-domain-specifc prompt)
English: """{SEGMENT}"""\n{TARGET_LANGUAGE}: """

PROMPT 2:
Translate this from English to {TARGET_LANGUAGE}, topic - {DOMAIN}:\n"""{SEGMENT}"""

PROMPT 3:
English {DOMAIN} text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 4:
English text: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE} using {DOMAIN} terminology: """

PROMPT 5:
English text with {DOMAIN} terminology: """{SEGMENT}"""\nTranslation into {TARGET_LANGUAGE}: """

PROMPT 6:
English ({DOMAIN}): """{SEGMENT}"""\n{TARGET_LANGUAGE} ({DOMAIN}): """

Về khả năng thay đổi của dấu nhắc, dấu nhắc 2 có mối tương quan bằng 0 với phần còn lại vì nó thêm \n\n không cần thiết. Phần còn lại của lời nhắc phần nào tương quan với nhau, với 30–40% bản dịch là giống nhau.

Chất lượng bản dịch GPR-3 cho các văn bản dành riêng cho miền

GPT-3 đạt điểm khá thấp đối với tất cả các lời nhắc mà chúng tôi đã thử so với các động cơ MT có mục đích chung. Dấu nhắc không có tên miền 1 nằm cuối cùng trong số tất cả các lời nhắc hoặc ở nửa dưới. Lời nhắc 5 tạo ra các bản dịch có thứ hạng cao nhất.

Biểu đồ hiệu suất cho Nội dung pháp lý:

Biểu đồ hiệu suất cho nội dung Chăm sóc sức khỏe:

Lỗi dịch GPT-3 cho các văn bản dành riêng cho miền

Trong lĩnh vực Pháp lý, có một câu mà nửa đầu không có nghĩa và một số lỗi dịch, dịch sát nghĩa, thiếu sót, vấn đề ngữ pháp và lặp lại.

Trong Chăm sóc sức khỏe, tình hình tốt hơn một chút, với ít vấn đề vừa phải hơn. Vẫn còn những bản dịch sát nghĩa, dịch sai, một số vấn đề về thuật ngữ và một số vấn đề về ngữ pháp. Nhìn chung, chúng tôi có thể kết luận rằng có những vấn đề, nhưng chúng không cản trở nghiêm trọng ý nghĩa của các phân đoạn.

Chi phí dịch thuật GPT-3

Chúng tôi đã chia tổng chi phí như được trình bày trong bảng điều khiển OpenAI cho lượng nội dung mà chúng tôi đã dịch qua mô hình davinci GPT-3 cho thử nghiệm này (không có mẫu nhắc) và ước tính chi phí dịch trung bình là 12 đô la cho mỗi 1 triệu ký tự.

kết luận

GPT-3 cung cấp cách dịch văn bản giữa các ngôn ngữ bằng API. Có sẵn một vài lời nhắc khác nhau, nhưng kết quả dịch giữa chúng thường khá giống nhau.

Chúng tôi nhận thấy rằng các bản dịch GPT-3 nằm trong số các công cụ MT thương mại tốt nhất cho tiếng Anh sang tiếng Tây Ban Nha, nhưng chúng lại rơi vào hạng thứ hai cho tiếng Anh sang tiếng Đức.

Khi nói đến các văn bản dành riêng cho miền như Pháp lý và Chăm sóc sức khỏe, bản dịch GPT-3 không đạt chuẩn, ngay cả khi sử dụng lời nhắc dành riêng cho miền. Trong những trường hợp này, cổ phiếu, động cơ MT đa năng hoạt động tốt hơn nhiều. Kiểm tra báo cáo Tình trạng MT hàng năm của chúng tôi để tìm ra công cụ nào sẽ sử dụng cho các cặp ngôn ngữ và miền của bạn.

Kể từ hôm nay, GPT-3 được triển khai tại OpenAI để dịch hoạt động chậm hơn đáng kể so với các công cụ MT thương mại, dẫn đến một số lỗi API đáng kể.

Đồng thời, trong các thử nghiệm khác của chúng tôi, chúng tôi nhận thấy hiệu suất của GPT-3 đối với việc viết lại và cách điệu văn bản cùng ngôn ngữ là khá đáng chú ý. Ngoài ra, việc tạo nội dung đa ngôn ngữ mang lại kết quả tốt. Tác vụ dịch thuật có thể là một thách thức độc đáo, đòi hỏi cả sự sáng tạo và các yêu cầu nghiêm ngặt đối với đầu ra, khiến GPT-3 gặp khó khăn hơn so với các tác vụ khác.

Chúng tôi dự định tiếp tục chạy thử nghiệm với các phiên bản tinh chỉnh của GPT-3, cũng như GPT-4 sắp tới. Mở to mắt cảnh giác!