Gagasan Neural Search bukanlah hal baru — ini telah menjadi topik hangat di NeurIPS (konferensi Deep Learning terkemuka) selama 5 tahun terakhir. Seperti kebanyakan perkembangan teknologi, pengembangan inkremental biasanya mengarah pada pemegang jabatan yang menangkap nilai. Kami percaya ada perubahan langkah dalam ruang Neural Search karena kemajuan terbaru dalam LLM, basis data vektor, kerangka kerja saraf, dan AI multi-modal — membuka peluang bagi startup di ruang angkasa.

Orang-orang telah memberitakan kematian Google sejak didirikan — apakah waktunya telah tiba?

Apa yang terjadi?

Memahami pergeseran dari pencarian simbolik ke pencarian semantik

Singkatnya, Neural Search hanya berarti memanfaatkan jaringan saraf untuk memahami dan menginterpretasikan kueri pengguna. Ini adalah iterasi dari mesin pencari, yang hingga saat ini menggunakan algoritma simbolik / leksikal (yaitu pencocokan kata). Masalah dengan pencarian leksikal adalah Anda harus menentukan setiap aturan untuk mengelola kesalahan ketik, akronim, dan serangkaian hal lain yang kami anggap remeh saat menggunakan mesin telusur — misalnya, komputer tidak hanya tahu bahwa merah juga bisa berarti merah marun , mereka harus diberitahu. Bahkan raksasa teknologi berjuang dengan pencarian hari ini - pernahkah Anda menemukan diri Anda mencari di Twitter atau LinkedIn melalui Google?

Elasticsearch telah menjadi alat bantu untuk pencarian leksikal selama satu dekade (dengan Algolia di belakangnya) dan bahkan di lingkungan saat ini ia memiliki kapitalisasi pasar $5 miliar. Jelas bahwa Penelusuran adalah pasar yang besar, dan itu belum termasuk perusahaan senilai $1 triliun yang dibangun di atasnya. Sekitar 5 tahun yang lalu perusahaan itu, Google, mulai mengubah algoritmenya dari pencarian simbolik ke pencarian semantik (yaitu algoritme yang dapat memahami dan menginterpretasikan maksud) , yang merupakan dasar dari pencarian saraf — dan melakukannya menggunakan BERT , salah satu yang paling LLM terkemuka.

Namun hari ini, lanskap berubah, dan banyak perusahaan memanfaatkan pencarian semantik. Platform seperti Hugging Face telah membuka akses ke teknologi ini, yang berarti pencarian semantik tidak lagi diperuntukkan bagi Big Tech, dan menciptakan peluang yang signifikan untuk startup di luar angkasa.

Catatan : Perlu disebutkan bahwa seringkali ada skenario di mana pencarian simbolik masuk akal sehingga optimal untuk menemukan keseimbangan antara pencarian simbolik dan saraf (pencarian hibrid).

Kenapa sekarang?

Membuka akses ke model embedding, database vektor, kerangka saraf, dan AI multi-modal

Sebagian besar Pembelajaran Mesin dibangun di atas penyematan vektor , yang pada dasarnya berarti mengubah konten (teks, video, gambar, dll…) menjadi vektor sehingga komputer dapat memahaminya. Database vektor menangani struktur vektor yang unik dan mampu mengelompokkannya — memungkinkan pengambilan cepat dan pencarian kesamaan. VectorDB memiliki banyak manfaat, mulai dari pencarian semantik, peringkat, deduplikasi, dan deteksi anomali. Yang terpenting, mereka tidak hanya membantu Anda menemukan informasi tetapi juga membantu Anda mengelompokkan dan mendeteksi kesamaan, yang bagus untuk mencocokkan mesin — teknologi yang semakin penting dalam kebangkitan pasar B2B.

Namun hingga saat ini, hanya raksasa teknologi yang dapat mengembangkan dan mengelola database vektor ini, karena sulit untuk mendapatkan ROI kecuali jika dikalibrasi dengan benar. Sekarang, itu mulai berubah, dengan model dan startup baru membuatnya dapat diakses oleh banyak orang.

Minggu lalu OpenAI merilis model baru untuk membuat penyematan SOTA sangat hemat biaya. Cohere juga berakar pada konsep-konsep ini. Berbagai startup juga memiliki misi untuk menghadirkan pencarian vektor dan basis data kepada massa, termasuk basis data vektor Weaviate dan Qdrant . Beberapa Neural Search Frameworks yang terkenal , yang digunakan untuk membantu menyatukan semuanya, adalah Deepset dan Jina.ai .

Neural Search terkait dengan konsep AI multi-modal , yang berarti model yang dapat menangani berbagai mode konten (gambar, teks, atau video). Ini meningkatkan jumlah informasi kontekstual yang dimiliki model dan dapat sangat meningkatkan performa, yang kita lihat dengan model Neural Search multi-modal. Gagasan untuk dapat mencari semua file di laptop Anda sekaligus (tidak hanya berdasarkan nama tetapi juga dengan memindai konten yang mendasarinya baik itu teks, gambar, atau video) telah lama dibahas. Apple mencobanya dengan Spotlight tetapi gagal — sekarang Rewind mengambilnya langsung dengan AI multi-modal. Dengan cara yang sama Algolia muncul sebagai “Elasticsearch but easy” — kami melihat sejumlah perusahaan muncul dengan pola pikir yang sama untuk Pencarian multi-modal, seperti Marqo, Twelvelabs dan Nuclia .

Apa berikutnya?

Aplikasi Pencarian Vertikal dan pemisahan Google

Kita semua pernah mendengar cerita tentang kematian Google , tetapi perlu disebutkan bahwa 40% GenZ menggunakan TikTok atau Instagram, daripada Google, untuk pencarian rata-rata mereka . Dengan teknologi pencarian SOTA yang sekarang terbuka dan tidak terkunci di Mountain View, ada peluang yang muncul untuk aplikasi pencarian yang berfokus pada vertikal tertentu dan UX yang hebat .

Misalnya, Bloop sedang membangun platform untuk mencari basis kode Perusahaan yang besar dan kompleks dengan mudah — ini pernah menjadi kekuatan super yang hanya diberikan kepada insinyur di Facebook dan Google, tetapi sekarang insinyur di perusahaan mana pun dapat memperoleh peningkatan produktivitas. Model bisnis serupa diterapkan pada vertikal seperti layanan medis, hukum, dan keuangan, dan saya senang melihat bagaimana mereka berkembang.

Pikiran terakhir

Ada banyak hype seputar AI Generatif dan dalam banyak hal Penelusuran hanyalah AI Generatif yang disesuaikan . Google telah lama menjadi pintu gerbang ke internet dan ChatGPT telah menunjukkan kepada kita bahwa mungkin tidak selalu demikian. Di Balderton, kami yakin bahwa Penelusuran adalah salah satu area AI yang paling menarik saat ini — kami telah mendukung banyak perusahaan berbasis AI dalam 12 bulan terakhir seperti Levity , PhotoRoom , dan lainnya yang belum diumumkan. Jika Anda sedang membangun ruang, jangan ragu untuk menghubungi saya di [email protected]