Búsqueda semántica + ChatGPT

ChatGPT escribe. Hebbia lee. Por qué son una gran pareja.

Los modelos de IA generativa parecen preparados para crear billones de dólares de valor económico.

GPT-3, Stable Diffusion, DALL-E y, más recientemente, Chat-GPT han impulsado la capacidad de creación de AI en la corriente principal.

Pero las creaciones por sí solas a menudo están muy lejos de ser útiles : las respuestas incorrectas de Chat-GPT y el desmantelamiento inmediato de Meta's Galactica comparten un defecto evidente:

Los modelos generativos pueden escribir respuestas, pero nunca leen fuentes ni "citan" su trabajo.

De OpenAI , mientras que " ChatGPT a veces escribe respuestas que suenan plausibles pero incorrectas o sin sentido... actualmente no hay una fuente de verdad". Meta menciona que "no hay garantías de resultados veraces o confiables de los modelos de lenguaje, incluso los grandes entrenados en datos de alta calidad como Galactica " y que uno "nunca debe seguir los consejos de un modelo de lenguaje grande sin verificación".

Por ejemplo, la primera consulta de @AndrewYNg hace que ChatGPT sea fácticamente incorrecto:

La funcionalidad de "búsqueda" de ChatGPT en realidad no busca: las respuestas se basan en la coincidencia de patrones a corto plazo y, a menudo, son incorrectas.

Para hacer realidad la promesa completa de la IA generativa de aplicabilidad en la fuerza laboral, se necesitan sistemas más transparentes, confiables y precisos. La tecnología que pueda alimentar correctamente estos modelos con hechos relevantes es primordial.

Búsqueda semántica: la capacidad de los LLM para leer y recuperar fuentes es clave.

Además de su capacidad generativa, los LLM tienen una capacidad única para codificar e indexar contenido por su significado.

Los motores de búsqueda semánticos o "neuronales" aprovechan la IA para recuperar respuestas basadas en el significado, no solo en palabras clave (es decir, Google, ElasticSearch). Un analista que busque "valores culturales de la empresa" esperaría encontrar la misión y la visión de la empresa en un 10-K. Solo un motor de búsqueda semántica como Hebbia podría respaldar ese comportamiento. La búsqueda de palabras clave puede arrojar resultados sobre valoraciones de empresas.

Estos sistemas de IA discriminativos, a diferencia de la IA generativa, encuentran la señal en el ruido.

Los modelos generativos pueden y deben aprovechar una "memoria" de búsqueda semántica.

Los " lectores " de búsqueda semántica pueden alimentar a los " escritores " generativos para abordar todas las deficiencias de los modelos generativos por sí solos:

1. Más preciso : modelos cebados con fuentes primarias relevantes
2. Más confiable : Cita fuentes detrás de cada generación
3. Actualización más sencilla : la actualización de un índice puede ocurrir casi instantáneamente sin necesidad de volver a entrenar mil millones (¡o dos billones!) del modelo de parámetros ad hoc.

Si está interesado en usar esta tecnología en su lugar de trabajo, comuníquese con Hebbia y obtenga más información sobre lo que hacemos.