Menerapkan Data-Centric AI Untuk Model NLU

Andrew Ng telah menciptakan & memperjuangkan konsep Data-Centric AI. Data-Centric AI adalah disiplin data masukan teknik untuk model AI dan prinsip yang sama berlaku untuk penemuan dan penataan data pelatihan NLU.

Perkenalan
Dalam AI Percakapan, pengembangan chatbot dan voicebot telah melihat fokus yang signifikan pada kerangka kerja, desain percakapan, dan tolok ukur NLU.
Kerangka pengembangan telah mencapai efisiensi tinggi dalam pengembangan keadaan percakapan dan desain percakapan. Dan semakin banyak vendor yang menyetujui fakta bahwa perbedaan antara Model NLU menjadi diabaikan.
Jadi ini menimbulkan pertanyaan, bagaimana keadaan paritas platform saat ini dapat dipatahkan dan diferensiasi CX yang sebenarnya tercapai?
Jawabannya terletak pada pendekatan data centric untuk membuat data pelatihan NLU…

Penemuan & Pengembangan Intensi Pusat Data
Pengembangan chatbot sangat membutuhkan pendekatan data centric, di mana fokus laser diberikan pada pemilihan data yang tidak terstruktur, dan mengubah data yang tidak terstruktur menjadi data Desain dan Pelatihan NLU .
Chatbot gagal terutama karena dua alasan… alasan pertama adalah maksud yang dikembangkan tidak selaras dengan maksud pengguna. Alasan kedua adalah bahwa maksud tidak fleksibel, Anda harus dapat dengan mudah dan berkelanjutan:
▪️ Menggabungkan Maksud
▪️ Memisahkan Maksud
▪️ Membuat maksud hierarkis atau bersarang
▪️ Penemuan dan pemeliharaan Maksud.
Pendekatan data-sentris untuk pengembangan chatbot dimulai dengan mendefinisikan maksud berdasarkan percakapan pelanggan yang ada. Maksud pada dasarnya adalah pengelompokan atau kumpulan ucapan atau kalimat yang mirip secara semantik . Nama maksud adalah label yang menggambarkan kelompok atau pengelompokan ucapan.

Ada berbagai alat yang membuat pengelompokan atau kluster, di atas adalah contoh menggunakan embeddings Cohere .
Alat grafik lain untuk menjelajahi dan menyimpan kalimat serupa disebut Bulk .
Di bawah ini adalah contoh Massal yang menunjukkan bagaimana sebuah cluster dapat dipilih secara grafis dan kalimat yang ditunjuk ditampilkan. Daftar ucapan yang merupakan bagian dari pemilihan merupakan maksud. Dan pengelompokan tersebut dapat disimpan sebagai bagian dari proses rekayasa penataan data pelatihan NLU.

⭐️ Silakan ikuti saya di LinkedIn untuk pembaruan tentang AI Percakapan ⭐️
Mempertimbangkan gambar di bawah ini, proses pembuatan maksud dari data percakapan yang ada meningkatkan tumpang tindih percakapan pelanggan yang ada (maksud pelanggan) dengan maksud yang dikembangkan. Penyelarasan antara kedua elemen ini sangat penting untuk penerapan AI Percakapan yang sukses.


Manajemen Maksud Manusia-Dalam-Loop
Niat memang garis depan dari setiap implementasi chatbot dan menentukan percakapan mana yang dapat dilakukan pengguna. Untuk alasan efisiensi dan skalabilitas, penciptaan niat dan manajemen pada skala menuntut ruang laten yang dipercepat di mana pendekatan pengawasan lemah yang dibantu AI dapat diikuti.
Proses manajemen niat adalah tugas yang berkelanjutan dan memerlukan ruang laten tanpa kode yang dipercepat di mana praktik terbaik yang berpusat pada data dapat diterapkan.

Seperti yang terlihat pada gambar di atas, pengelolaan maksud tidak hanya mengelola label dan data pelatihan, tetapi juga pengelolaan maksud. Manajemen maksud mencakup pemisahan maksud, penggabungan, hierarki, dan pemindahan maksud.
Proses Desain NLU dan manajemen niat yang berkelanjutan memastikan lapisan niat implementasi Conversational AI tetap fleksibel dan beradaptasi dengan percakapan pengguna.
⭐️ Silakan ikuti saya di LinkedIn untuk pembaruan tentang AI Percakapan ⭐️

Saat ini saya adalah Ketua Penginjil @ HumanFirst . Saya menjelajahi dan menulis tentang semua hal di persimpangan AI dan bahasa; mulai dari LLM , Chatbots , Voicebots , Kerangka Pengembangan, ruang laten Data-Centric dan banyak lagi.



