Trò chuyệnGPT

ChatGPT của OpenAI đã đốt cháy internet! Tôi chưa bao giờ thấy nhiều bài đăng về AI như vậy — nguồn cấp dữ liệu Twitter và LinkedIn của tôi hoàn toàn bị ngập. Trên thực tế, tôi vừa đọc được rằng 1 triệu người đã sử dụng nó chỉ trong 5 ngày.

Công bằng mà nói, ChatGPT có lẽ là chatbot AI có mục đích chung tốt đầu tiên trên thế giới mà bất kỳ ai cũng có thể chơi cùng. Các phản ứng có thể đoán trước được - “wow”, “bắt đầu của sự kết thúc”, “con người đã chết” chỉ là một số phản ứng ngẫu hứng mà tôi nhận được từ bạn bè.

Nhưng tôi đã từng ở đây trước đây. Tôi là CTO châu Âu của IBM Watson trong những ngày đầu tiên, khi chúng tôi đang cố gắng thương mại hóa Jeopardy! Công nghệ. Vậy, với kinh nghiệm đó, tôi nghĩ gì?

Tôi nên lưu ý rằng khi tôi nói về Watson trong bài đăng này, tôi đang đề cập đến công nghệ được phát triển riêng cho Jeopardy! buổi bieu diễn. IBM sau đó đã phát triển một loạt các sản phẩm mang nhãn hiệu Watson không liên quan, khai thác hợp lý kinh nghiệm và hiệu quả xây dựng thương hiệu của mình, thay vì bản thân công nghệ ban đầu. Tài liệu tham khảo của tôi về Watson đặc biệt là về Jeopardy gốc! công nghệ chứ không phải các sản phẩm mang thương hiệu Watson mà IBM cung cấp ngày nay.

Về mặt kỹ thuật, ChatGPT và Watson rất khác nhau. ChatGPT là một mô hình ngôn ngữ lớn (LLM), được xây dựng bằng mô hình davinvi-003 của OpenAI, một phần của chuỗi mô hình GPT3.5. Các mô hình GPT3.5 là một số LLM lớn nhất và phức tạp nhất hiện có. Ngược lại, trò chơi chiến thắng ban đầu của Watson là một tập hợp các thuật toán khác nhau, không thuật toán nào trong số đó có thể được mô tả là LLM. Watson đã thắng Jeopardy vào năm 2011 — hơn một thập kỷ trước và vào thời điểm cụm từ “các mô hình ngôn ngữ lớn” thậm chí còn chưa được đặt ra. Do đó, không có gì ngạc nhiên khi Watson và ChatGPT khác nhau về mặt công nghệ — một thập kỷ là một khoảng thời gian dài đối với công nghệ.

Bên cạnh những khác biệt về công nghệ, với tư cách là một cựu Watsoner, tôi thấy có ba điều quan trọng về ChatGPT.

mở khả dụng

Thứ nhất, việc OpenAI đã phát hành ChatGPT miễn phí cho bất kỳ ai mày mò, thể hiện sự tin tưởng vào khả năng của nó. Chỉ cần xem những cuộc trò chuyện hoang dã mà mọi người đang có với nó trên trang web mashup này. Sự đa dạng là phi thường - tôi chưa bao giờ thấy bất cứ điều gì như thế này. Và nó đang hoạt động khá tốt — mọi người hào hứng vì nó thường vượt quá mong đợi của họ, đó là một điều khá thú vị.

Việc cung cấp miễn phí ChatGPT cho bất kỳ ai và tất cả mọi người đều rất dũng cảm và sẽ chỉ hoạt động nếu nó thực sự ấn tượng. Tương phản với sự tiếp nhận đó đối với Meta's Galactica . Galactica đã bị chỉ trích gay gắt và bản demo chỉ tồn tại được ba ngày trước khi bị gỡ xuống.

Xu hướng phát minh ra thông tin khoa học của Galactica đã gây ra những lo ngại nghiêm trọng và bất kể giá trị của nó là gì, việc tiếp nhận nó hầu như là tiêu cực trên toàn cầu. Ngược lại, rõ ràng OpenAI đã có những bước tiến lớn với ChatGPT. Nó không hoàn toàn hoàn hảo, nhưng tôi có cảm giác rằng một số suy nghĩ đáng kể đã được đưa vào nó.

Trở lại với Watson, Jeopardy! máy chưa bao giờ được công khai một phần vì nó được thiết kế rất đặc biệt cho những câu hỏi kỳ lạ đặt ra trên Jeopardy! buổi bieu diễn. Chúng tôi biết công chúng sẽ hỏi những câu hỏi rất khác nhau và nhanh chóng tìm ra sai sót. Những AI giành chiến thắng trong trò chơi này rất hiếm khi được phát hành ra công chúng. Có thể là DeepMind với Cờ vây, Meta với Cicero, Watson, DeepBlue tại Cờ vua từng đoạt giải Ngoại giao — không hệ thống nào trong số này được phát hành để công chúng sửa đổi hoặc chỉ trích. Điều đó làm cho ChatGPT trở nên khác biệt với bất kỳ bước đột phá nào được cho là khác.

khả năng mở rộng

Việc có đủ người chơi với ChatGPT để tràn ngập các mốc thời gian trên Twitter và LinkedIn của tôi cho chúng tôi biết rằng nó phải mở rộng quy mô tốt. Nó nhận được rất nhiều yêu cầu.

Hầu hết các trường hợp đột phá về AI không thể mở rộng cho nhiều người dùng. Họ đạt được những bước đột phá của mình một phần bằng cách áp dụng một lượng lớn sức mạnh tính toán cho một người dùng. Nếu ai đó cung cấp cho bạn toàn bộ trung tâm dữ liệu gồm các máy móc để xây dựng một hệ thống, điều đó thật tuyệt vời. Nhưng nếu phải mất toàn bộ trung tâm dữ liệu để trả lời một câu hỏi hoặc quyết định một nước đi trên bàn trò chơi, thì đó không chỉ là một vấn đề nghiêm trọng về khả năng mở rộng mà còn là một trở ngại thương mại hóa lớn. Chế tạo một cỗ máy để đánh bại một con người trong trò chơi hoàn toàn không giống với việc chế tạo một cỗ máy có thể đánh bại một triệu người.

Theo đúng nghĩa đen, hàng triệu người trên khắp thế giới đang chơi với ChatGPT chứng tỏ rằng nó không yêu cầu toàn bộ trung tâm dữ liệu trả lời một câu hỏi. Với điều này, công nghệ hoàn toàn có thể được thương mại hóa — rào cản lớn về khả năng mở rộng và khả năng kinh tế hẳn đã được giải quyết.

Uyển chuyển

Watson ban đầu được chế tạo để làm một việc và một việc duy nhất - chơi Jeopardy! Điều này cũng đúng với cỗ máy chiến thắng cờ vây của Deep Mind và vô số hệ thống chơi trò chơi AI khác đã trở thành tiêu đề trong những năm qua.

Các hệ thống này đạt được sự vĩ đại bằng cách giải quyết một vấn đề rất cụ thể và thường không thể dễ dàng hoặc hoàn toàn không thể áp dụng cho các lĩnh vực khác. Tin tôi đi, những người trong chúng tôi, những người được giao nhiệm vụ nhận Watson Jeopardy! công nghệ để làm những việc khác có những vết sẹo chiến đấu cho thấy điều đó có thể khó khăn như thế nào.

Để so sánh, mọi người đang sử dụng ChatGPT để trả lời các câu hỏi về kiến ​​thức chung, viết thơ, tạo đơn xin việc, kể chuyện cười, viết và giải thích mã lập trình và vô số thứ ngẫu nhiên khác . Và nó đang làm tốt tất cả những điều này một cách ấn tượng mà không cần nỗ lực đào tạo thêm. Không giống như những lần thử AI trước đây, ChatGPT dường như giỏi nhiều thứ ngay lập tức. Tất nhiên ngay khi tôi nói điều đó, ai đó sẽ chỉ cho tôi điều gì đó tồi tệ. Nhưng, nói chung, tôi sẽ giữ vững lập trường của mình - tôi giỏi rất nhiều thứ một cách ấn tượng.

Vì vậy, ba lý do tại sao ChatGPT là một nỗ lực ấn tượng — tính mở, khả năng mở rộng và tính linh hoạt. Nhưng tôi cũng muốn nhận xét về một vài khía cạnh quan trọng khác của những gì tôi thấy với ChatGPT.

Làm công cụ lên

Mặc dù có những khả năng ấn tượng, ChatGPT đôi khi vẫn có xu hướng bịa đặt. Hầu hết thời gian nó dường như tránh điều đó, nhưng đôi khi nó sẽ xoay chuyển và phát minh ra thực tế của chính nó. Hãy nói rằng nó không có khả năng vượt qua bài kiểm tra nói dối.

Với uy tín của họ, OpenAI thoải mái thừa nhận thách thức này.

“ChatGPT đôi khi viết những câu trả lời nghe có vẻ hợp lý nhưng không chính xác hoặc vô nghĩa… ChatGPT rất nhạy cảm với những thay đổi đối với cụm từ đầu vào hoặc thử lặp lại cùng một lời nhắc. Ví dụ, được đưa ra một cụm từ của một câu hỏi, mô hình có thể tuyên bố là không biết câu trả lời, nhưng được đưa ra một cụm từ nhỏ, có thể trả lời đúng.”https://openai.com/blog/chatgpt/

Khi tôi lần đầu tiên tìm hiểu về GPT-3 (trên đó ChatGPT được xây dựng), tôi nhận thấy xu hướng làm cho mọi thứ trở thành một rào cản lớn của mô hình này. Tôi biết rất ít tình huống kinh doanh thực tế mà việc “làm nên chuyện” không bị coi là rủi ro thương hiệu lớn. ChatGPT có vẻ tốt hơn nhiều , có lẽ một phần vì nó dựa trên mô hình davinci-003, một bản nâng cấp từ davinci-002 ban đầu. Nhưng nó không hoàn hảo và nếu độ chính xác thực tế hoàn toàn là quan trọng, thì vấn đề này sẽ là rào cản đối với việc áp dụng.

Thiên kiến

Một thách thức lớn với các mô hình ngôn ngữ lớn, đó là những thành kiến ​​cố hữu tồn tại trong tập huấn luyện. Điều này khó có thể tránh khỏi, do các LLM được đào tạo từ hàng loạt dữ liệu có nguồn gốc từ internet, dữ liệu này hầu như sẽ luôn bao gồm các ví dụ về mọi tật xấu và thành kiến ​​đã biết của con người.

Một lần nữa, OpenAI đang quản lý kỳ vọng của chúng tôi.

“Mặc dù chúng tôi đã nỗ lực để làm cho mô hình từ chối các yêu cầu không phù hợp, nhưng đôi khi nó sẽ phản hồi các hướng dẫn có hại hoặc thể hiện hành vi thiên vị. Chúng tôi đang sử dụng API kiểm duyệt để cảnh báo hoặc chặn một số loại nội dung không an toàn, nhưng chúng tôi cho rằng hiện tại nó sẽ có một số kết quả khẳng định và phủ định sai. Chúng tôi mong muốn thu thập phản hồi của người dùng để hỗ trợ công việc đang diễn ra của chúng tôi nhằm cải thiện hệ thống này.”https://openai.com/blog/chatgpt/

Theo kinh nghiệm cá nhân của tôi, ChatGPT thực hiện tốt công việc tránh thiên vị và thường từ chối trả lời các câu hỏi nhằm mục đích kích động hành vi xấu. Nhưng với một người dùng kiên quyết, có thể khiến nó nói một số điều khá ngu ngốc. Nó tốt, nhưng không hoàn hảo 100%.

Chỉ cần xem video này:

Đúng vậy, sự thiên vị về chủng tộc và giới tính được hiển thị cho tất cả mọi người xem, đưa ra một sự khiêu khích sáng tạo (trong trường hợp này, ngụy trang ý định phân biệt chủng tộc/phân biệt giới tính dưới dạng một thách thức lập trình và sau đó liên tục hỏi cùng một câu hỏi).

Kinh nghiệm của riêng tôi là yêu cầu nó kể cho tôi nghe một câu chuyện về giờ đi ngủ. Đáp lại, tôi nhận được một câu chuyện về một nàng công chúa tóc vàng, mắt xanh. Một chút sáo rỗng, vì vậy tôi đã thách thức nó.

Điều này thực sự là khá tốt. Thật khó để thuyết phục các LLM luôn nói điều đúng đắn, nhưng OpenAI dường như đang cố gắng. Nhưng vấn đề vẫn còn đó — trong khi hầu hết mọi người sẽ không gặp phải những phản ứng láu cá, thì bạn vẫn có thể khiêu khích họ nếu bạn quyết tâm.

Việc giải quyết sự thiên vị và giữ cho LLM luôn thẳng thắn và thu hẹp vẫn là một công việc đang được tiến hành. Nhưng tôi thấy ChatGPT nói chung tốt hơn nhiều so với những nỗ lực trước đây. Tuy nhiên, việc xây dựng một chatbot cho một doanh nghiệp bằng ChatGPT có một số rủi ro lặp lại thương hiệu liên quan đến nó, chúng tôi sẽ nói.

ChatGPT để làm gì?

Sau khi đã hết phấn khích ban đầu với ChatGPT, tôi bắt đầu tự hỏi một hệ thống như thế này có ích lợi gì. Xét cho cùng, kiến ​​thức chung rất ấn tượng nhưng ngoài Siri-v2, không rõ ràng ngay lập tức nó có thể được sử dụng như thế nào.

Một máy tính có kiến ​​thức tổng quát không muốn đưa ra ý kiến ​​về bất cứ điều gì, nhưng sẵn sàng trò chuyện về mọi thứ. Hừm…

Có lẽ bộ phim khoa học viễn tưởng THX 1138 có một vai trò - nơi cư dân của một thế giới ngầm, khi bị căng thẳng, sẽ rút lui vào “gian xưng tội” và bắt đầu cuộc trò chuyện với một máy tính có khuôn mặt Chúa Giê-su tự xưng là “OMM”. Nó có thể làm điều đó.

Xin lỗi, đó là một chút thiếu sót. Nó có thể được sử dụng để làm gì khác?

Trò chuyện với một nhà tổng quát rất thú vị, nhưng hầu hết những điều thực sự hữu ích đều cần kiến ​​thức chuyên môn. Nếu bạn đang trò chuyện với một ngân hàng, bạn cần chatbot đó biết tất cả về tài khoản của bạn, các sản phẩm của ngân hàng, các quy tắc tài chính, v.v. — những điều mà ChatGPT biết rất ít, nếu có. Điều này cũng đúng với hầu hết, nếu không muốn nói là tất cả, các miền. Điều đó có nghĩa là để có tiện ích thực sự, chúng tôi cần có khả năng dạy ChatGPT về những điều mới. Và thậm chí có thể ngăn nó trò chuyện về những điều lạc đề. Rốt cuộc, sẽ hơi lạ nếu chatbot của ngân hàng của bạn nói về ý nghĩa của cuộc sống phải không?

Làm cách nào để chúng tôi có thể đào tạo ChatGPT?

Với các LLM nói chung, thường có hai loại hình đào tạo - tôi sẽ gọi là đào tạo “cốt lõi” và sau đó là “tinh chỉnh”.

OpenAI đã thực hiện đào tạo cốt lõi về ChatGPT và tôi nghĩ họ đã làm rất tốt việc đó. Nhưng gần như chắc chắn chúng ta sẽ không thể thay đổi cách đào tạo cốt lõi đó — để làm được như vậy là một quá trình tính toán cực kỳ tốn kém có khả năng tiêu tốn hàng trăm nghìn pound tài nguyên tính toán. Ngay cả khi chúng ta có thể, rất, rất ít người trong chúng ta có đủ khả năng để làm như vậy.

Vì vậy, điều đó để lại cho chúng tôi tinh chỉnh. Nhưng điều này sẽ hiệu quả như thế nào trên các miền mới? Làm thế nào nó sẽ được dễ dàng để thực hiện? Nó sẽ có giá bao nhiêu? OpenAI sẽ cung cấp những công cụ nào? Chúng tôi chỉ có thể đoán ở câu trả lời ngày hôm nay. Tôi hy vọng, nhưng không có gì chắc chắn về cách thức hoặc liệu ChatGPT có thể được đào tạo để hoạt động hiệu quả với tư cách là chuyên gia trong các lĩnh vực khác nhau hay không.

Sức mạnh của một cộng đồng mở

ChatGPT rất tuyệt, nhưng nó hiện bị khóa đằng sau giao diện dựa trên web OpenAI độc quyền. Tôi chỉ có thể tưởng tượng những gì mọi người sẽ làm với nó khi nó được đưa ra ngoài trời, với các API có thể cắm được.

Hoặc, có lẽ, chúng ta đã có thể có được một cái nhìn thoáng qua. Lấy cảm hứng từ buzz lan truyền, @mmabrouk_ đã cùng nhau hack một trình bao bọc Python , nhanh chóng theo sau là @_wheels, người đã xây dựng giao diện dựa trên giọng nói Whisper . Như vậy là chúng ta đã có thể trò chuyện thực sự (tức là nói to lên) với ChatGPT rồi.

Cách tiếp cận của OpenAI cũng hơi khác một chút so với nhiều ngành công nghiệp máy học, nơi phổ biến việc phát hành mở các mô hình. OpenAI thường không phát hành các mô hình GPT của họ, thay vào đó chọn lưu trữ chúng và cung cấp quyền truy cập thông qua API.

Đối với những người thích mày mò với các siêu tham số và hiểu mã cơ bản, đây là một vấn đề. Cá nhân tôi chỉ coi đó là một cách tiếp cận khác - có ưu và nhược điểm. Mô hình/mã mở hoặc API được lưu trữ — cả hai đều có thể hoạt động. Nhưng điều quan trọng là quyền truy cập được mở ra, bởi vì đó là nơi bắt nguồn của sự đổi mới. Những người điên với những ý tưởng điên rồ cần một cái gì đó mà họ có thể xây dựng trên đó.

Làm thế nào để bất cứ điều gì khác so sánh?

Tôi đã tìm hiểu về chatbot trong khoảng một thập kỷ nay. Khoảng thời gian đó đủ dài để biết rằng mọi người đều muốn những thứ không thể đạt được với công nghệ ngày nay — thứ giống như trò chuyện với rô-bốt khoa học viễn tưởng.

Vấn đề mà ChatGPT đặt ra là nó thực sự khá gần với tầm nhìn đó theo nhiều cách. Chắc chắn là một công cụ để chơi chữ, nó không có gì so sánh được. Và thật khó để không cảm thấy chóng mặt khi trò chuyện với nó — nó gây ấn tượng theo những cách mới mỗi khi tôi sử dụng. Nhưng đây chỉ là cậu bé trong tôi đi ra ngoài? Cũng chính cậu bé đó đã khiến Eliza khiếp sợ trên chiếc Commodore 64 của anh ấy vào những năm 80. AI có một lịch sử lâu dài về những lần bắt đầu sai và mặc dù tôi rất ấn tượng với Eliza vào thời điểm đó, nhưng nó không phải là nền tảng cho AI ngày nay.

Với ChatGPT, tất cả chúng ta đã đặt lại kỳ vọng của mình về những gì một chatbot có thể trở thành. Kết quả của việc này sẽ rất thú vị. Bất kỳ ai cố gắng cạnh tranh trên cùng một “chúng tôi có nền tảng AI tuyệt vời” đều có khả năng phải đối mặt với một cuộc đấu tranh.

Đây có thực sự là AI?

Một điểm cuối cùng mà tôi muốn kết thúc là cách ChatGPT so sánh với bộ não của chính chúng ta. Rốt cuộc, nếu chúng ta đang cố gắng xây dựng Trí tuệ nhân tạo, thì đó không phải là một phép so sánh tồi.

Ian Bogost cho rằng ChatGPT là một món đồ chơi và nó không thực sự hiểu bất cứ điều gì theo cách chúng ta làm. Anh ấy phàn nàn rằng đó chỉ là những từ lặp đi lặp lại và không hiểu những từ đó có nghĩa gì. Thật khéo léo, phần đầu tiên của bài báo trên Đại Tây Dương của anh ấy hóa ra lại do ChatGPT tạo ra.

Tất nhiên là Ian đúng - bất kỳ ai có hiểu biết về LLM đều biết rằng họ không “hiểu”. Chưa hết… làm sao chúng ta “hiểu” được? Có phải bộ não của chúng ta không chỉ, ít nhất là một phần, những cỗ máy khớp mẫu khổng lồ? Có thể "hiểu biết" chỉ phù hợp với mô hình tốt hơn? Khi chúng ta “học một điều gì đó”, không phải chúng ta chỉ đặt ra các khuôn mẫu để bộ não của chúng ta khớp với nhau sau này sao?

Có lẽ chúng ta nên nghĩ ít hơn về bản thân với tư cách là con người và nghĩ nhiều hơn về một loài động vật có bộ não đơn giản hơn - côn trùng, thằn lằn, chuột. Khớp mẫu có vẻ là một mô tả tốt về cách những con vật đó cư xử. Tôi thường cười nhạo những con mèo của mình vì chúng quá say mê với thói quen - ngồi một chỗ để chợp mắt vào một ngày nào đó và nếu nó hoạt động tốt, chúng sẽ ngồi đó hàng ngày cho đến vĩnh viễn. Điều đó có vẻ giống như mô hình phù hợp với tôi.

Nhưng có vẻ như, với những động vật bậc cao hơn như con người, thì còn nhiều điều hơn nữa đang diễn ra. Simon Sinek nổi tiếng với phép loại suy “vòng tròn vàng” . Ông so sánh mô hình của mình với các cấu trúc của bộ não - vỏ não mới kiểm soát suy nghĩ hợp lý và não viền chịu trách nhiệm cho các phản ứng bản năng hơn. Tôi tự hỏi liệu có lẽ chúng ta đang đạt đến điểm gần giống với não rìa với những thứ như ChatGPT, nhưng chưa tăng cường điều đó bằng tân vỏ não nhân tạo — thứ giúp tăng cường mô hình phù hợp với suy nghĩ hợp lý. Hoặc, chỉ có thể, bộ não của chúng ta phụ thuộc nhiều vào việc khớp mẫu hơn là chúng ta sẵn sàng thừa nhận. Nếu đúng như vậy, có lẽ chúng ta chỉ cần Các Mô hình Ngôn ngữ Lớn hơn (ELLM)?