Có sự xuất hiện của các công cụ Lập trình trực quan tạo điều kiện thuận lợi cho việc xâu chuỗi các lời nhắc mô hình ngôn ngữ lớn vào một ứng dụng; đó chủ yếu là một giao diện người dùng đàm thoại.

Một số nền tảng

Một số khung phát triển chatbot đã bao gồm LLM trong chức năng của chúng. Chức năng này được cho là bổ sung cho khả năng phát triển chatbot hiện có. Tuy nhiên, các triển khai khung phát triển chatbot này của LLM về bản chất rất giống nhau .

Việc triển khai ban đầu này được theo sau bởi làn sóng thứ hai của các trợ lý thiết kế hội thoại và tạo luồng hội thoại; được dẫn đầu bởi Cognigy . Và sau đó là Yellow AI và Kore AI.

L LM rất linh hoạt với khả năng kết thúc mở.

Voiceflow & Botpress đã giới thiệu chức năng giống như chuỗi lời nhắc, trong phạm vi mà lời nhắc có thể được gửi tới LLM và các giá trị có thể được trích xuất từ ​​phản hồi được tạo.

Trong bài viết này, tôi muốn xem xét các nguyên tắc cơ bản khi thiết kế và xây dựng giao diện lập trình trực quan chuỗi dấu nhắc gốc.

Giao diện người dùng Chuỗi nhắc nhở gốc

Khi xâu chuỗi các lời nhắc của Mô hình ngôn ngữ lớn thông qua Giao diện người dùng lập trình trực quan, phần lớn nhất của chức năng sẽ là GUI hỗ trợ quá trình soạn thảo.

Dưới đây là hình ảnh về giao diện đồ họa như vậy cho kỹ thuật nhanh chóng và tác giả chuỗi nhanh chóng có thể trông như thế nào. Thiết kế này bắt nguồn từ nghiên cứu được thực hiện bởi Đại học Washington và Google.

Giao diện cần cung cấp mức độ chi tiết trên nhiều cấp độ của quy trình tác giả. Xem xét quá trình xâu chuỗi, rõ ràng là giữa các chuỗi có sự liên kết với nhau.

Bất kỳ công cụ chuỗi nhanh hoặc chuỗi LLM nào cũng phải hỗ trợ chuyển đổi dữ liệu giữa các bước của chuỗi. Xét rằng trong hầu hết các trường hợp, LLM sẽ trả về dữ liệu phi cấu trúc, nên sẽ cần có một mức độ cấu trúc và chuyển đổi dữ liệu.

Yếu tố thứ hai là bản chất hơi khó đoán của LLM. LLM có thể tạo ra nhiều phản hồi cho cùng một lời nhắc. Điều này dẫn đến thách thức xếp tầng các phản hồi không mong muốn trong các chuỗi nhắc nhở. Trường hợp dữ liệu không mong muốn được lan truyền khắp các chuỗi.

Bởi vì không có biên dịch mã, lời nhắc có thể được tùy chỉnh trong thời gian chạy mà không cần bất kỳ đào tạo mô hình cụ thể nào.

Ứng dụng LLM Chained có thể dễ dàng tiếp thu các tác vụ mới, chỉ đơn giản bằng cách thực hiện các hướng dẫn bằng ngôn ngữ tự nhiên được gọi là lời nhắc.

Đúng là nhiều ứng dụng trong thế giới thực liên quan đến các nhiệm vụ gồm nhiều bước phức tạp và thường song song, điều này đặt ra thách thức đối với một phiên bản chuỗi đơn lẻ.

Xem xét ngăn xếp chức năng bên dưới, một ứng dụng chuỗi nhanh dựa trên Mô hình ngôn ngữ lớn (LLM) & AI sáng tạo nên có ba thành phần chính:

⏺ LLM

⏺ Người trợ giúp

⏺ Giao tiếp

LLM

Đối với nhiều chuỗi/nút, đầu ra LLM có thể được sử dụng mà không cần chỉnh sửa do LLM cung cấp. Trong hầu hết các trường hợp, chế độ xem này sẽ được hiển thị cho người dùng hoặc có thể cần phải chuyển đổi dữ liệu cho chuỗi tiếp theo trong Ứng dụng LLM (còn gọi là Ứng dụng Gen).

Đầu ra LLM sẽ xác định chuỗi nào sẽ phân nhánh, do đó các cạnh chuỗi/nút này cần chứa các quy tắc và điều kiện.

Cân nhắc cuối cùng là sử dụng LLM làm công cụ phân loại . LLM có thể được thực hiện trong khả năng tổng hợp hoặc dự đoán . AI sáng tạo là khía cạnh phổ biến nhất và dễ tiếp cận nhất của LLM. Dự đoán phức tạp hơn và yêu cầu tinh chỉnh nhiều hơn hoặc ít nhất là lời nhắc chính xác.

Tận dụng LLM làm công cụ phân loại (do đó có thể dự đoán) trong chuỗi, làm cho các nút đưa ra quyết định của ứng dụng chuỗi trở nên thông minh và linh hoạt.

Sẽ luôn có sự cám dỗ để nhanh chóng đưa ra quyết định về mã/tập lệnh vào các cạnh; còn được gọi là các điểm chuyển tiếp chuỗi. Đây là một sửa chữa nhanh chóng; nhưng một lần nữa đưa tính cứng nhắc vào ứng dụng LLM Chaining.

Người giúp việc

Người trợ giúp hỗ trợ đánh giá kết quả LLM, xem xét các khía cạnh như lịch sự, đồng cảm, v.v. Người trợ giúp cũng có thể xếp hạng lại hoặc gửi lại lời nhắc.

Vì mức độ chi tiết là một yêu cầu đối với bất kỳ triển khai sản xuất nào, nên việc điều chỉnh ứng dụng chuỗi nhanh chóng sẽ rất quan trọng. Một dạng kịch bản sẽ được yêu cầu để xử lý và chuyển đổi dữ liệu.

Kịch bản gói gọn khả năng phát triển được cung cấp cho tác giả chuỗi để thực hiện các biện pháp kiểm soát, chuyển đổi dữ liệu, v.v.

Giao tiếp

Giao tiếp diễn ra ở một số cấp độ, có dữ liệu đầu vào của người dùng ở dạng dữ liệu hội thoại phi cấu trúc.

Các hành động khác của người dùng như yêu cầu người dùng chọn phản hồi tốt nhất hoặc phân biệt dựa trên một vài khả năng.

Và tất nhiên, các hệ thống của bên thứ ba (API) sẽ được thẩm vấn đối với bất kỳ hoạt động triển khai sản xuất hoặc doanh nghiệp nào.

Xem xét thiết kế của PromptChainer

Giao diện PromptChainer có một trình hiển thị chế độ xem chuỗi trong đó cấu trúc chuỗi với các cạnh nút hoặc “giữa các chuỗi” có thể được tạo, chỉnh sửa, đọc và xóa [A].

Trình xem nút hỗ trợ triển khai, cải thiện và thử nghiệm từng nút hoặc chuỗi riêng lẻ [B]. Việc chỉnh sửa lời nhắc cho từng nút có thể được thực hiện tại đây.

PromptChainer cũng hỗ trợ chạy chuỗi end-to-end [C] với các tùy chọn để xóa bộ đệm, xem nhật ký chạy, v.v.

Dựa trên nghiên cứu định lượng do Đại học Washington và Google Research thực hiện, những khám phá được thực hiện về cách người dùng xây dựng và gỡ lỗi chuỗi:

[1] Người dùng muốn xây dựng các chuỗi để không chỉ giảm thiểu các hạn chế của LLM mà còn làm cho các ứng dụng của họ có thể mở rộng và mở rộng quy mô.

[2] Một số người dùng đã xây dựng từng bước của chuỗi tại một thời điểm, trong khi những người khác phác thảo các trình giữ chỗ trừu tượng cho tất cả các bước trước khi điền chúng vào.

[3] Tương tác giữa nhiều lời nhắc LLM và chuỗi có thể phức tạp, đòi hỏi cả việc gỡ lỗi cục bộ và toàn cầu cho các lời nhắc.

Xem xét hình ảnh bên dưới, đây là mô tả cho từng nút hoặc chuỗi:

[1] Xác định đầu vào cho chuỗi

[2,3] Sử dụng đầu ra LLM để lọc và phân nhánh các đầu vào.

[4] Sử dụng đầu ra LLM trực tiếp làm đầu ra nút.

[5] Các chức năng JavaScript được triển khai trước để chuyển đổi dữ liệu điển hình.

[6] Sử dụng đầu ra LLM trực tiếp làm đầu ra nút.

[7] Gọi các chức năng bên ngoài để kết nối các dịch vụ chuyên nghiệp với LLM.

[8] Hàm JS do người dùng định nghĩa, trong trường hợp trình trợ giúp được xác định trước không đủ.

[9] Sử dụng đầu ra LLM trực tiếp làm đầu ra nút.

[10] Lọc hoặc xếp hạng lại kết quả đầu ra LLM theo tiêu chí do con người thiết kế, ví dụ: phép lịch sự. Cho phép chỉnh sửa bên ngoài (người dùng cuối) trên các điểm dữ liệu trung gian.

Tóm lại là

Hiện có một số thuật ngữ được sử dụng cho các ứng dụng được xây dựng trên Mô hình Nền tảng và Mô hình Ngôn ngữ Lớn. Các thuật ngữ này là Gen Apps, Generative Apps, LLM Apps, Prompt Chaining, LLM Chaining, v.v.

Đủ để nói rằng cần phải xây dựng trên các Mô hình lớn và bằng cách nào đó khai thác sức mạnh của LLM.

Nhu cầu này sẽ được củng cố bởi các nguyên tắc sau:

1. lời nhắc
2. Tận dụng các khả năng Dự đoán và Sáng tạo của LLM.
3. Xâu chuỗi lời nhắc; theo kiểu song song và nối tiếp.
4. Trình chỉnh sửa trực quan để lập trình chuỗi/nút và cạnh, giữa các nút/chuỗi.
5. Chuyển đổi dữ liệu phản hồi LLM.
6. Các ứng dụng LLM Chained sẽ là đàm thoại cho cả đầu vào và đầu ra hoặc đầu ra cũng có thể đóng gói một thành phần RPA.

Tôi hiện là Nhà truyền bá chính @ HumanFirst . Tôi khám phá và viết về tất cả mọi thứ ở giao điểm của AI và ngôn ngữ; khác nhau, từ LLMs , Chatbots , Voicebots , Khung phát triển, không gian tiềm ẩn lấy dữ liệu làm trung tâm , v.v.

Cobus Quadrant™ của thiết kế NLU Cobus Quadrant™ của khả năng thiết kế hội thoại

PromptChainer: Chuỗi lời nhắc mô hình ngôn ngữ lớn thông qua lập trình trực quan.