Ricerca semantica + ChatGPT

ChatGPT scrive. Hebbia legge. Perché sono una coppia fantastica.

I modelli di intelligenza artificiale generativa sembrano pronti a creare trilioni di dollari di valore economico.

GPT-3, Stable Diffusion, DALL-E e, più recentemente, Chat-GPT hanno spinto la capacità dell'IA di creare nel mainstream.

Ma le creazioni da sole sono spesso molto lontane dall'essere utili : le risposte errate di Chat-GPT e l' eliminazione immediata del Galactica di Meta condividono un difetto evidente:

I modelli generativi possono scrivere risposte, ma non leggono mai fonti o "citano" il loro lavoro.

Da OpenAI , mentre " ChatGPT a volte scrive risposte che sembrano plausibili ma errate o prive di senso... al momento non c'è alcuna fonte di verità". Meta afferma che "non ci sono garanzie per un output veritiero o affidabile da modelli linguistici, anche quelli di grandi dimensioni addestrati su dati di alta qualità come Galactica " e che si dovrebbe "non seguire mai i consigli di un modello linguistico di grandi dimensioni senza verifica".

Ad esempio, la prima query di @AndrewYNg rende ChatGPT effettivamente errato:

La funzionalità di "ricerca" di ChatGPT in realtà non cerca: le risposte si basano su corrispondenze di modelli a breve termine e spesso non sono corrette.

Per realizzare la piena promessa di applicabilità dell'IA generativa nella forza lavoro, sono necessari sistemi più trasparenti, affidabili e affidabili. La tecnologia in grado di alimentare correttamente questi modelli fatti rilevanti è fondamentale.

Ricerca semantica: la capacità degli LLM di leggere e recuperare le fonti è fondamentale.

Oltre alla loro capacità generativa, gli LLM hanno anche una capacità unica di codificare e indicizzare il contenuto in base al suo significato.

I motori di ricerca semantici o "neurali" sfruttano l'intelligenza artificiale per recuperare risposte basate sul significato, non solo sulle parole chiave (ad es. Google, ElasticSearch). Un analista alla ricerca di "valori culturali aziendali" si aspetterebbe di arrivare alla missione e alla visione dell'azienda in un 10-K. Solo un motore di ricerca semantico come Hebbia potrebbe supportare quel comportamento. La ricerca per parola chiave potrebbe produrre risultati sulle valutazioni aziendali.

Questi sistemi di intelligenza artificiale discriminativa, a differenza dell'IA generativa, trovano il segnale nel rumore.

I modelli generativi possono e devono sfruttare una "memoria" di ricerca semantica.

La ricerca semantica " lettori " può alimentare " scrittori " generativi per affrontare tutte le carenze dei modelli generativi da soli:

1. Più accurato : priming dei modelli con fonti primarie pertinenti
2. Più affidabile : cita le fonti di ogni generazione
3. Aggiornamento più semplice : l'aggiornamento di un indice può avvenire quasi istantaneamente senza la necessità di riaddestrare un miliardo (o due trilioni!) di modello di parametri ad hoc.

Se sei interessato a utilizzare questa tecnologia sul posto di lavoro, contatta Hebbia e scopri di più su ciò che facciamo.