Triển khai AI lấy dữ liệu làm trung tâm cho các mô hình NLU

Andrew Ng đã đặt ra và đang ủng hộ khái niệm AI lấy dữ liệu làm trung tâm. Data-Centric AI là nguyên tắc xử lý dữ liệu đầu vào kỹ thuật cho các mô hình AI và các nguyên tắc tương tự áp dụng cho việc khám phá và cấu trúc dữ liệu đào tạo của NLU.

Giới thiệu
Trong AI đàm thoại, sự phát triển của chatbot và voicebot đã tập trung đáng kể vào các khuôn khổ, thiết kế hội thoại và điểm chuẩn NLU.
Các khung phát triển đã đạt hiệu quả cao trong phát triển trạng thái hội thoại và thiết kế hội thoại. Và ngày càng có nhiều nhà cung cấp đồng ý với thực tế rằng sự khác biệt giữa các Mô hình NLU đang trở nên không đáng kể.
Vì vậy, điều này đặt ra câu hỏi, làm thế nào có thể phá vỡ trạng thái ngang bằng nền tảng hiện tại và đạt được sự khác biệt CX thực sự?
Câu trả lời nằm ở cách tiếp cận tập trung vào dữ liệu để tạo dữ liệu đào tạo NLU…

Phát hiện & phát triển ý định tập trung vào dữ liệu
Quá trình phát triển Chatbot đang rất cần một phương pháp tiếp cận tập trung vào dữ liệu, trong đó tập trung vào việc lựa chọn dữ liệu phi cấu trúc và biến dữ liệu phi cấu trúc thành dữ liệu Đào tạo và Thiết kế NLU .
Chatbots thất bại chủ yếu do hai lý do… lý do đầu tiên là ý định được phát triển không phù hợp với ý định của người dùng. Lý do thứ hai là các ý định không linh hoạt, bạn cần có khả năng dễ dàng và liên tục:
▪️ Hợp nhất các ý định
▪️ Các ý định phân chia
▪️ Tạo các ý định phân cấp hoặc lồng nhau
▪️ Khám phá và bảo trì ý định.
Cách tiếp cận tập trung vào dữ liệu để phát triển chatbot bắt đầu bằng việc xác định ý định dựa trên các cuộc trò chuyện của khách hàng hiện có. Một ý định về bản chất là một nhóm hoặc cụm các cách nói hoặc câu tương tự về mặt ngữ nghĩa. Tên mục đích là nhãn mô tả cụm hoặc nhóm các cách nói.

Có nhiều công cụ khác nhau để tạo các nhóm hoặc cụm, trên đây là một ví dụ sử dụng nhúng Cohere .
Một công cụ đồ họa khác để khám phá và lưu các câu tương tự được gọi là Hàng loạt .
Dưới đây là một ví dụ về Hàng loạt cho thấy cách một cụm có thể được chọn bằng đồ họa và các câu được chỉ định được hiển thị. Danh sách các phát biểu tạo thành một phần của lựa chọn tạo thành một ý định. Và việc phân nhóm có thể được lưu lại như một phần của quy trình kỹ thuật cấu trúc dữ liệu đào tạo NLU.

⭐️ Vui lòng theo dõi tôi trên LinkedIn để cập nhật thông tin về Conversational AI ⭐️
Xem xét hình ảnh bên dưới, quá trình tạo ý định từ dữ liệu hội thoại hiện có làm tăng sự chồng chéo của các cuộc trò chuyện của khách hàng hiện tại (ý định của khách hàng) với ý định đã phát triển. Sự liên kết giữa hai yếu tố này là rất quan trọng để triển khai AI đàm thoại thành công.


Quản lý ý định của con người trong vòng lặp
Ý định thực sự là tuyến đầu của bất kỳ triển khai chatbot nào và xác định những cuộc hội thoại nào người dùng có thể có. Vì lý do hiệu quả và khả năng mở rộng quy mô, việc tạo và quản lý ý định ở quy mô lớn đòi hỏi một không gian tiềm ẩn tăng tốc, nơi có thể tuân theo phương pháp giám sát yếu được hỗ trợ bởi AI.
Quá trình quản lý ý định là một nhiệm vụ đang diễn ra và đòi hỏi một không gian tiềm ẩn không có mã được tăng tốc, nơi có thể triển khai phương pháp hay nhất lấy dữ liệu làm trung tâm.

Như đã thấy trong hình trên, quản lý mục đích không chỉ quản lý nhãn và dữ liệu đào tạo mà còn quản lý mục đích. Quản lý ý định bao gồm tách ý định, hợp nhất, phân cấp và di chuyển ý định.
Một quy trình liên tục của Thiết kế NLU và quản lý ý định đảm bảo lớp ý định triển khai AI đàm thoại vẫn linh hoạt và thích ứng với các cuộc trò chuyện của người dùng.
⭐️ Vui lòng theo dõi tôi trên LinkedIn để cập nhật thông tin về Conversational AI ⭐️

Tôi hiện là Nhà truyền bá chính @ HumanFirst . Tôi khám phá và viết về tất cả mọi thứ ở giao điểm của AI và ngôn ngữ; khác nhau, từ LLMs , Chatbots , Voicebots , Khung phát triển, không gian tiềm ẩn lấy dữ liệu làm trung tâm , v.v.



