Pencarian Semantik + ChatGPT

ChatGPT menulis. Hebbia membaca. Mengapa mereka pasangan yang hebat.

Model AI generatif tampaknya siap menciptakan nilai ekonomi triliunan dolar.

GPT-3, Stable Diffusion, DALL-E , dan yang terbaru, Chat-GPT telah mendorong kemampuan AI untuk berkreasi ke arus utama.

Tetapi kreasi saja seringkali jauh dari membantu – jawaban salah Chat-GPT , dan penghapusan segera Meta's Galactica memiliki kelemahan yang mencolok:

Model generatif dapat menulis tanggapan, tetapi mereka tidak pernah membaca sumber atau "mengutip" karya mereka.

Dari OpenAI , sementara " ChatGPT terkadang menulis jawaban yang terdengar masuk akal tetapi salah atau tidak masuk akal... saat ini tidak ada sumber kebenaran." Meta menyebutkan "tidak ada jaminan untuk hasil yang jujur ​​atau andal dari model bahasa, bahkan model besar yang dilatih dengan data berkualitas tinggi seperti Galactica " dan bahwa seseorang harus "Jangan pernah mengikuti saran dari model bahasa besar tanpa verifikasi."

Misalnya, kueri pertama @AndrewYNg membuat ChatGPT salah secara faktual:

Fungsionalitas "pencarian" dari ChatGPT tidak benar-benar mencari — jawaban didasarkan pada pencocokan pola jangka pendek dan seringkali salah.

Untuk mewujudkan janji penuh AI generatif untuk penerapan di dunia kerja, diperlukan sistem yang lebih transparan, dapat dipercaya, dan akurat. Teknologi yang dapat memberi makan model ini dengan benar fakta yang relevan adalah yang terpenting.

Pencarian Semantik - kemampuan LLM untuk membaca dan mengambil sumber adalah kuncinya.

Selain kemampuan generatifnya, LLM memiliki kemampuan unik untuk juga menyandikan dan mengindeks konten berdasarkan maknanya.

Mesin pencari semantik atau "saraf" memanfaatkan AI untuk mengambil jawaban berdasarkan makna, bukan hanya kata kunci (mis. Google, ElasticSearch). Seorang analis yang mencari "nilai-nilai budaya perusahaan" akan berharap untuk mencapai misi dan visi perusahaan dalam 10-K. Hanya mesin pencari semantik seperti Hebbia yang dapat mendukung perilaku tersebut. Pencarian kata kunci mungkin menghasilkan hasil tentang penilaian perusahaan.

Sistem AI diskriminatif ini, tidak seperti AI generatif, menemukan sinyal dalam kebisingan.

Model generatif dapat, dan harus memanfaatkan "memori" pencarian semantik.

Pencarian semantik " pembaca " dapat memberi makan " penulis " generatif untuk mengatasi semua kekurangan model generatif saja:

1. Lebih akurat : Model priming dengan sumber primer yang relevan
2. Lebih dapat dipercaya : Kutip sumber di balik setiap generasi
3. Lebih mudah diperbarui : Memperbarui indeks dapat terjadi hampir seketika tanpa perlu melatih ulang satu miliar (atau dua triliun!) model parameter ad hoc.

Jika Anda tertarik menggunakan teknologi ini di tempat kerja Anda, hubungi Hebbia dan pelajari lebih lanjut tentang apa yang kami lakukan.