Trong blog này, tôi sẽ xem xét quá trình sử dụng Học tăng cường (RL) để tạo và cải thiện một mô hình ngôn ngữ lớn như ChatGPT. Sau đó, tôi sẽ chỉ ra cách OpenAI và Microsoft có thể sử dụng RL để ngăn các đối thủ cạnh tranh với họ trong thị trường AI tổng quát. Sau đó tôi sẽ đề xuất các chiến lược cho các công ty khởi nghiệp mới để tấn công pháo đài. Trước tiên, hãy xem lại “hào nước” ngăn những kẻ tấn công tiếp cận lâu đài ChatGPT có nghĩa là gì.

Bối cảnh về mô hình năm lực lượng của Porter

Năm 1979, Michael Porter xuất bản bài báo chuyên đề về phân tích bản chất cạnh tranh của một ngành. Bây giờ chúng ta gọi quá trình này là Phân tích năm lực lượng của Porter . Chúng ta có thể sử dụng sơ đồ dưới đây để hình dung một tập hợp các điểm áp lực trong bất kỳ thị trường cụ thể nào.

OpenAI tính phí khiêm tốn $20/tháng cho quyền truy cập cao cấp vào ChatGPT. Ngoài ra còn có một phiên bản miễn phí với hơn 100 triệu người dùng . OpenAI đang sử dụng những người dùng này như một phương pháp để nhận phản hồi và cải thiện mô hình của họ.

Khi chúng tôi xem xét ChatGPT một cách khách quan, thực sự không có công cụ nào khác có sẵn công khai gần với khả năng của nó. Mặc dù giao diện người dùng còn thô sơ, nhưng chất lượng của văn bản được tạo ra rất ấn tượng so với các đối thủ của nó. Đây là mô hình duy nhất chung chung và có rất nhiều công dụng khác nhau .

Vì vậy, ngay bây giờ, chúng tôi chỉ có thể đặt OpenAI vào vòng tròn AI chung ở trên. Nhưng điều này sẽ thay đổi và chúng ta sẽ hiểu tại sao Microsoft lại đầu tư 10 tỷ USD vào OpenAI.

Đối với phân tích này, chúng tôi sẽ bỏ qua Quyền thương lượng của người mua vì không có cạnh tranh. Quyền thương lượng của các nhà cung cấp là phần cứng GPU NIVIDA trong Microsoft Azure và các nhà phát triển phần mềm trong OpenAI. Những điều này không thể bỏ qua về lâu dài, nhưng hiện tại, có đủ tiền để mua cả phần cứng và trả tiền cho các nhà phát triển OpenAI. Điều đó để lại một lực lượng mà chúng ta cần xem xét: Các mối đe dọa của những người mới tham gia. Có các mối đe dọa thay thế cho ChatGPT, chẳng hạn như sử dụng công cụ tìm kiếm hoặc đọc sách để tìm thông tin. Không có lựa chọn nào trong số này hấp dẫn.

Các mối đe dọa của những người mới tham gia

Nhìn vào sơ đồ trên, lực lượng hàng đầu được gọi là Mối đe dọa của những người mới tham gia . Nó bao gồm các công ty công nghệ lớn khác đã đầu tư sâu vào lĩnh vực mô hình ngôn ngữ lớn. Điêu nay bao gôm:

1. Google — người có kiến ​​thức về tìm kiếm và phản hồi để xây dựng các mô hình mới
2. Amazon — có nhiều nhóm người làm việc về máy học để quảng bá dịch vụ đám mây của họ nhằm đào tạo các mô hình ngôn ngữ lớn
3. Meta — nơi Facebook thu thập khoảng 50 nghìn sự thật về người dùng có thể được sử dụng để đưa ra dự đoán chi tiết về những quảng cáo mà họ có thể nhấp vào
4. HuggingFace — giúp các nhà phát triển dễ dàng truy cập các mô hình 100K và tinh chỉnh chúng bằng các ứng dụng Spaces nhanh chóng và dễ dàng.

OpenAI có một vị trí dẫn đầu đáng kể. OpenAI lần đầu tiên xuất bản bài báo GPT của mình vào ngày 11 tháng 6 năm 2018 . Điều đó được tiếp nối vào ngày 14 tháng 2 năm 2019 , với GPT-2, có 1,5 tỷ tham số. Tiếp theo là GPT-3 đột phá vào ngày 11 tháng 6 năm 2020, tăng vọt lên mức đáng kinh ngạc là 175 tỷ thông số. Những kết quả này rất ấn tượng vì chất lượng văn bản mà GPT-3 tạo ra thật đáng kinh ngạc. Nhưng OpenAI không hề chậm lại. Họ đã thêm các mô hình tinh chỉnh mô hình GPT-3 cơ sở để phát hiện mục đích hướng dẫn tốt hơn và cũng tích hợp một mô hình khác được đào tạo trên phần mềm có tên Codex.

Bất cứ khi nào người dùng đồng ý hoặc không thích, sẽ có nhiều dữ liệu hơn để các mô hình của OpenAI cải thiện. Sau tất cả công việc này, họ đã áp dụng một lớp phần mềm khác có tên là Học tăng cường với phản hồi của con người hoặc RLHF. RLHF vẫn đang được sử dụng cho đến ngày nay đối với 100 triệu người dùng đó.

Ba rào cản gia nhập đối với Trợ lý nhận thức

Dưới đây là ba yếu tố chính khiến những người mới tham gia không thể tham gia vào cuộc cạnh tranh hoàn thành với ChatGPT.

1. Nhân tài AI — Bạn có đội ngũ nhân viên đánh giá cao NLP và các mô hình ngôn ngữ lớn không? Họ có hiểu rõ về biểu diễn tri thức của dữ liệu trong tổ chức của bạn không? Tổ chức của bạn có thể thuê và giữ chân nhân tài này trong một ngành công nghiệp đang rất nóng không?
2. Chi phí phần cứng đào tạo — Tổ chức của bạn có quyền truy cập vào hàng nghìn GPU/TPU/IPU hoặc HBU để đào tạo và tinh chỉnh các mô hình ngôn ngữ lớn không?
3. Phản hồi — Bạn có hàng trăm nghìn người dùng sẵn sàng cung cấp phản hồi cho bạn không? OpenAI hiện có hơn 100 triệu người dùng và con số này dự kiến ​​sẽ tăng lên khi họ tinh chỉnh các mô hình của mình bằng phản hồi này.

Áp dụng một số tư duy hệ thống

Khi chúng ta áp dụng các nguyên tắc của Tư duy Hệ thống cho vấn đề này, chúng ta sẽ thấy Sơ đồ Vòng nhân quả (CLD) với một chu kỳ củng cố tích cực. Nó trông giống như sau:

CLD nhỏ này có thể được giải thích bằng cách mô tả các mối quan hệ:

1. Dữ liệu thành mô hình — chúng tôi sử dụng dữ liệu để xây dựng các chế độ máy học.
2. Mô hình để dự đoán — chúng tôi sử dụng các mô hình học máy để đưa ra dự đoán về tương lai dựa trên kiến ​​thức trước đó..
3. Dự đoán cho phép phản hồi — một khi chúng ta có thể đưa ra những dự đoán hợp lý, con người sẽ đưa ra phản hồi cho chúng ta.
4. Phản hồi là Dữ liệu — chúng tôi có thể sử dụng phản hồi làm dữ liệu mới để cải thiện các mô hình của mình.

Bạn có thể tìm hiểu thêm về vai trò của Tư duy Hệ thống từ các blog trên Đồ thị của Chúa và Tư duy Hệ thống cho Quản lý Tri thức .

Bánh đà AI với phản hồi của con người

Hình trên là “Bánh đà AI” cổ điển mô tả cách các tổ chức thu thập dữ liệu, xây dựng mô hình dự đoán, đưa ra dự đoán và sử dụng phản hồi của con người để thu thập thêm dữ liệu nhằm đưa ra dự đoán tốt hơn. Tôi sử dụng mô hình này trong hầu hết mọi khóa học KR và AI mà tôi dạy vì nó là nền tảng để hiểu cách các công ty sẽ sử dụng phản hồi để tạo ra các trợ lý nhận thức mới.

Tôi đã sửa đổi vòng lặp 4 thành phần đơn giản hóa truyền thống (dữ liệu, mô hình, dự đoán, phản hồi) để bao gồm thêm một vài chi tiết. Có hai tính năng thiết yếu của sơ đồ mà chúng tôi muốn tập trung vào.

Đầu tiên, chúng tôi muốn đảm bảo mọi người hiểu rằng phản hồi là theo ngữ cảnh. Bạn không chỉ muốn biết rằng phản hồi đến từ con người mà còn muốn biết bối cảnh của người này trong môi trường của họ. Nếu đây là phản hồi cho một đề xuất viết mã, thì bạn muốn biết đây là nhà phát triển cấp cao hay cấp dưới. Nếu đó là phản hồi về một bức thư được tạo, bạn muốn biết người đọc là chuyên gia về chủ đề hay người mới. Bối cảnh là tất cả, vì vậy nếu bạn không sử dụng biểu đồ tri thức, bạn sẽ bỏ đi hầu hết thông tin về người đưa ra phản hồi cho bạn.

Thứ hai là hiểu rằng bạn sẽ không thu thập thông tin từ con người trừ khi bạn cung cấp giá trị cho họ. Điều này có nghĩa là nếu ít nhất 1/3 đề xuất của bạn không chính xác, người dùng sẽ vô hiệu hóa đề xuất của bạn. Họ gây phiền nhiễu hơn là đáng giá. Đây là lý do tại sao nếu mô hình dự đoán của bạn không ở ngưỡng 1/3, bạn có thể phải trả tiền cho người dùng để cung cấp phản hồi cho bạn. Đây chính xác là những gì các công ty như OpenAI phải làm trước khi tung ra sản phẩm của họ. Sau khi mọi người bắt đầu sử dụng nó (miễn phí), luồng phản hồi bắt đầu đổ về. Và với mỗi lần nhấp, khoảng cách xung quanh ChatGPT sẽ rộng hơn.

Phần kết luận

Tóm lại, phản hồi và học tập tăng cường gây ra các hiệu ứng mạng sẽ tiếp tục cạnh tranh ngoài thị trường chung do ChatGPT điều khiển cho các trợ lý nhận thức chung. Nếu bạn là một công ty nhỏ, bạn có thể không có đủ nguồn lực để cạnh tranh trong lĩnh vực này. Điều đó vẫn để lại nhiều cơ hội cho các công ty nhỏ xây dựng các trợ lý nhận thức hoạt động trong các lĩnh vực hẹp với quyền truy cập vào dữ liệu chuyên biệt và các tình nguyện viên để giúp họ điều chỉnh các dự đoán của mình. Cuối cùng, các công ty khởi nghiệp nhỏ nên xem xét các hệ thống cấp phép như mô hình davinci GPT-3 của OpenAI và tích hợp chúng vào các sản phẩm.