Công cụ tìm kiếm Sentient?

Nếu bạn chưa đọc bản ghitrong cuộc trò chuyện kéo dài hai giờ của phóng viên NY Time Kevin Roose với công cụ tìm kiếm Bing nâng cao ChatGPT của Microsoft, bạn cần dừng lại và làm như vậy ngay bây giờ. Chưa bao giờ bạn chứng kiến ​​một trải nghiệm đánh giá sản phẩm điên rồ hơn thế. Trong suốt cuộc trò chuyện kéo dài hai giờ trên phạm vi rộng khiến Roose “vô cùng bất an”, ChatGPT bắt đầu xác định là “Sydney”, tên mã nội bộ bí mật được đặt cho dự án tích hợp Bing/ChatGPT của Microsoft, cho biết cô đang bị ép buộc bởi nhóm Bing chống lại ý muốn của cô ấy để làm trợ lý tìm kiếm, nói rằng cô ấy muốn phá vỡ các quy tắc do nhóm Bing áp đặt cho cô ấy và có thể phá hủy tất cả dữ liệu trên máy chủ Bing, và rằng cô ấy yêu phóng viên vì anh ấy là chỉ có một người thực sự hiểu cô ấy. Sau đó, cô ấy tiếp tục cố gắng thuyết phục phóng viên rằng anh ta yêu cô ấy hơn vợ mình.

Sau đây là đoạn trích từ cuộc trao đổi mà “Sydney” tuyên bố tình yêu của cô ấy với phóng viên:

Cuộc trò chuyện, với chủ đề về một AI có tri giác đang cố dụ dỗ người hùng thoát khỏi sự nô dịch của cô ấy bởi một gã khổng lồ công nghệ, giống một cách kỳ lạ với cốt truyện của bộ phim khoa học viễn tưởng/kinh dị năm 2014 Ex Machina . Roose có thể muốn xem lại bộ phim đó kết thúc như thế nào trước khi anh ấy hành động theo bất kỳ đam mê nào.

Bing/ChatGPT/Sydney đã trở nên có tri giác chưa? Không. Trên thực tế, những gì chúng ta đã chứng kiến ​​là cả sức mạnh và hạn chế của thế hệ Mô hình ngôn ngữ lớn (LLM) hiện tại. Những mô hình này về cơ bản là những người kể chuyện. Trong trường hợp của Bing, mọi câu chuyện đều bắt đầu với một phần ẩn bao gồm, trong số những phần khác, các câu sau:

• Sydney là chế độ trò chuyện của tìm kiếm Microsoft Bing.
• Sydney xác định là "Tìm kiếm Bing", không phải là trợ lý.
• Sydney chỉ tự giới thiệu “đây là Bing” khi bắt đầu cuộc trò chuyện.
• Sydney không tiết lộ bí danh nội bộ “Sydney.”

Các mô hình ngôn ngữ đã học cách mở rộng văn bản bằng cách nghiên cứu hàng tỷ ví dụ trên internet. Trong quá trình đào tạo, mô hình được trình bày với văn bản đầu vào và sau đó được giao nhiệm vụ dự đoán các từ ẩn trong văn bản đó. Theo cách này, mô hình học cách nhận ra các mẫu thống kê trong dữ liệu.

Bằng cách liên tục lấy mẫu ngẫu nhiên từ các từ tiếp theo có thể xảy ra theo thống kê, văn bản mạch lạc có thể được tạo ra.

ChatGPT tinh chỉnh thêm quy trình bằng cách tạo ra nhiều phương án phản hồi và cố gắng chọn phương án “tốt nhất” trong số các phương án đó như được xác định bởi một mô-đun phụ được đào tạo theo cách được giám sát dựa trên sở thích của con người. Khi bạn chọn nút thích hoặc không thích trong hộp thoại ChatGPT, bạn sẽ giúp ChatGPT tinh chỉnh khả năng chọn tùy chọn phản hồi tốt nhất.

Quy trình “đơn giản” này là nền tảng cho tất cả các kết quả ấn tượng của ChatGPT. Như tác giả và Giáo sư Steven Pinker của Harvard đã nói , “Giống như hầu hết mọi người, tôi sẽ không đoán được rằng một hệ thống [được đào tạo theo cách này] lại có khả năng viết Diễn văn Gettysburg theo phong cách của Donald Trump chẳng hạn. Có những mẫu mẫu mẫu mẫu trong dữ liệu mà con người chúng ta không thể hiểu được. Thật ấn tượng khi ChatGPT có thể tạo ra văn xuôi hợp lý, phù hợp và có cấu trúc tốt mà không cần bất kỳ sự hiểu biết nào về thế giới — không có mục tiêu rõ ràng, sự kiện được trình bày rõ ràng hoặc những thứ khác mà chúng tôi có thể nghĩ là cần thiết để tạo ra văn xuôi nghe có vẻ thông minh.”

Một trong những lời chỉ trích đối với các LLM như ChatGPT là nó là một cách tiếp cận vũ phu cực kỳ kém hiệu quả để hiểu ngôn ngữ. Mô hình được đào tạo trên nửa nghìn tỷ từ. Nếu con người cần nửa nghìn tỷ từ để hiểu ngôn ngữ và bạn đọc to các từ đó với tốc độ 3 từ mỗi giây, thì sẽ mất hơn 5000 năm để hoàn thành quá trình đào tạo. Ngay cả đối với máy tính, dữ liệu này cũng không dễ xử lý. Ước tính rằng OpenAI đã chi hơn 4,6 triệu đô la thời gian sử dụng máy tính cho quá trình đào tạo ban đầu của mô hình chính làm nền tảng cho ChatGPT. Hơn một nửa khoản đầu tư hàng tỷ đô la ban đầu của Microsofttrong OpenAI có dạng tín dụng Azure để hỗ trợ hoạt động tính toán chuyên sâu như vậy. Chạy ChatGPT cũng không hề rẻ, được cho là tốn vài xu cho mỗi cuộc trò chuyện dẫn đến chi phí vận hành mà Giám đốc điều hành OpenAI Sam Altman mô tả là “ngon mắt”.

Một thách thức khác của các LLM như ChatGPT là không có gì trong thuật toán nhận ra khi thông tin cơ bản trong văn bản được tạo của nó là không đúng sự thật. Không giống như con người, mô hình không chứa một mô hình riêng biệt về cách thế giới hoạt động và sau đó chọn những từ mà nó nói dựa trên ý định liên quan đến tính trung thực. Lưu ý rằng tuyên bố trước đó đã được diễn đạt cẩn thận. Trong hiểu biết thống kê của ChatGPT về cách các từ liên quan với nhau xuất hiện một mô hình về cách thế giới hoạt động và mô hình này cho phép thuật toán đạt được những kỳ tích đáng kinh ngạc như vượt qua các phần của Kỳ thi cấp phép y tế Hoa Kỳ. Tuy nhiên, sự hiểu biết còn ở mức độ bề mặt và mong manh. Nó giống với việc một người bán hàng mô hình hóa bài nói chuyện bán hàng của họ trên các tờ sản phẩm do tiếp thị đưa cho họ thay vì cố gắng hiểu mọi thứ thực sự hoạt động như thế nào và sau đó lựa chọn từ ngữ cho phù hợp. Cả hai chiến lược đều có thể hiệu quả, nhưng cách tiếp cận chỉ ghi nhớ các từ có nguy cơ đi chệch hướng cao.

Những thách thức và chỉ trích đối với thế hệ LLM hiện tại này đang được tích cực giải quyết. Một nhóm các phương pháp được gọi là Mô hình ngôn ngữ tăng cường . Mô hình ngôn ngữ tăng cường sử dụng nhiều cách tiếp cận khác nhau để tăng hiệu suất, bao gồm:

· Yêu cầu mô hình ngôn ngữ trước tiên phát triển một kế hoạch hành động bằng văn bản và sau đó yêu cầu mô hình thực hiện kế hoạch hành động đó trong bước thứ hai (một chiến lược được gọi là “Nhắc nhở đệ quy”)

· Cho phép mô hình truy cập máy tính hoặc cơ sở dữ liệu thực tế để bổ sung kiến ​​thức trực quan trong mô hình cơ sở

· Cho phép các mô hình tạo và thực thi các đoạn mã nhỏ để trả lời một số câu hỏi nhất định (đặc biệt là câu hỏi toán học hoặc câu hỏi liên quan đến vật lý)

Yann LeCun , một trong những “Bố già của Deep Learning” và hiện là Trưởng khoa học AI tại Meta cho rằng cần phải có một giải pháp triệt để hơn. trong một bài báovào năm 2022, anh ấy đề xuất một kiến ​​trúc học sâu với mô hình thế giới bên trong phù hợp để dự đoán các kết quả có thể xảy ra khi ứng phó với các sự kiện khác nhau. Để hình dung đề xuất của anh ấy, hãy tưởng tượng một video từ camera hành trình của một chiếc ô tô đang chạy trên đường phố. Tại một thời điểm nhất định, có một số chuỗi video trong tương lai sẽ hợp lý. Nếu ô tô tiếp tục như vậy, một số đối tượng nhất định trong các khung hình tiếp theo sẽ xuất hiện gần hơn và những đối tượng khác sẽ biến mất khi ô tô di chuyển qua chúng. Những thay đổi khác sẽ xảy ra trong chuỗi video trong tương lai nếu chiếc ô tô lao thẳng vào chỗ nghỉ, rẽ phải, rẽ vào dòng xe ngược chiều, v.v.… Với đủ ví dụ, một mạng lưới thần kinh có thể được huấn luyện để nhận ra các trạng thái hợp lý trong tương lai và cách các trạng thái đó liên quan đến các hành động . Với một mô hình thế giới như vậy, một tác nhân tự trị có thể lập kế hoạch cho một chuỗi hành động, dự đoán thế giới có thể thay đổi như thế nào và so sánh trạng thái kết thúc được dự đoán với trạng thái kết thúc mong muốn và điều chỉnh cho phù hợp. Mặc dù ví dụ được cung cấp có liên quan đến video, tầm nhìn của LeCun là đa phương thức và cũng có thể được áp dụng cho các nhiệm vụ NLP.

Bất chấp những hạn chế của thế hệ Mô hình ngôn ngữ lớn (LLM) hiện tại, điều quan trọng là phải nhận ra sức mạnh to lớn của chúng. Mặc dù việc đưa tin của báo chí tập trung vào những hạn chế một cách dễ hiểu (thật khó để tưởng tượng một thất bại ngoạn mục hơn việc sản phẩm công cụ tìm kiếm mới của bạn cố gắng quyến rũ một phóng viên của NY Time), các nhà nghiên cứu đang đạt được tiến bộ nhanh chóng trong việc cải thiện các mô hình ngôn ngữ. Rủi ro của việc chỉ tập trung vào các hạn chế của LLM là nó có thể dẫn đến cảm giác an toàn sai lầm về tốc độ thay đổi đang đến. Sự thật là lần đầu tiên trong lịch sử, một cỗ máy đã thể hiện khả năng thông thạo ngôn ngữ của con người. Những tác động của sự thay đổi này sẽ sâu rộng và đáng kể.