A ideia de Neural Search não é nova - tem sido um tema quente na NeurIPS (a principal conferência de Deep Learning) nos últimos 5 anos ou mais. Como acontece com a maioria dos desenvolvimentos tecnológicos, o desenvolvimento incremental geralmente leva os titulares a capturar valor. Acreditamos que houve uma mudança radical no espaço de pesquisa neural devido a avanços recentes em LLMs, bancos de dados vetoriais, estruturas neurais e IA multimodal - abrindo a oportunidade para startups no espaço.

As pessoas pregam a morte do Google desde que foi fundado - finalmente chegou a hora?

O que está acontecendo?

Compreendendo a mudança da busca simbólica para a busca semântica

Em poucas palavras, a pesquisa neural significa apenas aproveitar as redes neurais para entender e interpretar as consultas do usuário. É uma iteração dos mecanismos de busca, que até recentemente usavam algoritmos simbólicos/léxicos (ou seja, correspondência de palavras). O problema com a pesquisa lexical é que você precisa definir todas as regras para gerenciar de forma robusta erros de digitação, acrônimos e uma série de outras coisas que aceitamos ao usar mecanismos de pesquisa - por exemplo, os computadores não sabem apenas que vermelho também pode significar marrom , eles precisam ser informados. Até os titãs da tecnologia lutam com a pesquisa hoje - você já se pegou pesquisando no Twitter ou no LinkedIn pelo Google?

O Elasticsearch tem sido a ferramenta preferida para pesquisa lexical há uma década (com Algolia logo atrás) e, mesmo no ambiente atual, tem um valor de mercado de US$ 5 bilhões. Está claro que a Pesquisa é um grande mercado, e isso sem falar na empresa de US$ 1 trilhão construída sobre ele. Há cerca de 5 anos, aquela empresa, o Google, começou a mudar seus algoritmos de busca simbólica para busca semântica (isto é, algoritmos que podem entender e interpretar a intenção) , que é a base da busca neural — e fez isso usando o BERT , um dos métodos mais LLMs notáveis.

Mas hoje, o cenário está mudando e muitas empresas utilizam a busca semântica. Plataformas como Hugging Face abriram o acesso a essa tecnologia, o que significa que a pesquisa semântica não é mais reservada para Big Tech e cria oportunidades significativas para startups no espaço.

Observação : vale a pena mencionar que muitas vezes há cenários em que a pesquisa simbólica faz sentido, portanto, é ideal encontrar um equilíbrio entre a pesquisa simbólica e a neural (pesquisa híbrida).

Porque agora?

Abrindo o acesso a modelos de incorporação, bancos de dados vetoriais, estruturas neurais e IA multimodal

Grande parte do aprendizado de máquina é construído em incorporações de vetores , o que significa essencialmente converter conteúdo (texto, vídeo, imagens etc.) em vetores para que os computadores possam entendê-lo. Os bancos de dados vetoriais lidam com a estrutura exclusiva dos vetores e são capazes de agrupá-los, permitindo uma recuperação rápida e uma pesquisa por similaridade. Os VectorDBs têm uma grande variedade de benefícios, desde pesquisa semântica, classificação, desduplicação e detecções de anomalias. Crucialmente, eles não apenas ajudam você a encontrar informações, mas também a agrupar e detectar semelhanças, o que é ótimo para mecanismos de correspondência — uma tecnologia cada vez mais importante na ascensão dos mercados B2B.

Mas até recentemente, apenas os gigantes da tecnologia poderiam desenvolver e gerenciar esses bancos de dados vetoriais, pois é difícil obter um ROI a menos que sejam calibrados corretamente. Agora, isso está começando a mudar, com novos modelos e startups tornando-os acessíveis às massas.

Na semana passada, a OpenAI lançou um novo modelo para tornar a incorporação de SOTA incrivelmente econômica. Cohere também tem suas raízes nesses conceitos. Uma série de startups também tem a missão de levar a pesquisa de vetores e bancos de dados para as massas, incluindo bancos de dados de vetores Weaviate e Qdrant . Algumas estruturas de pesquisa neural notáveis , que são usadas para ajudar a unir tudo, são Deepset e Jina.ai.

A Pesquisa Neural está entrelaçada com o conceito de IA multimodal , o que significa modelos que podem lidar com vários modos de conteúdo (imagem, texto ou vídeo). Isso aumenta a quantidade de informações contextuais que um modelo possui e pode aumentar muito o desempenho, o que estamos vendo com modelos multimodais de pesquisa neural. A ideia de poder pesquisar todos os arquivos em seu laptop de uma só vez (não apenas pelo nome, mas também pela verificação do conteúdo subjacente, seja texto, imagem ou vídeo) é discutida há muito tempo. A Apple deu uma boa chance com o Spotlight, mas ficou aquém - agora o Rewind está enfrentando isso com IA multimodal. Da mesma forma que a Algolia emergiu como “Elasticsearch, mas fácil” — estamos vendo uma série de empresas surgirem com a mesma mentalidade de busca multimodal, como a Marqo, Twelvelabs e Nuclia .

Qual é o próximo?

Aplicativos de busca verticalizados e a separação do Google

Todos nós já ouvimos histórias sobre a morte do Google , mas vale a pena mencionar que 40% dos GenZ vão para o TikTok ou Instagram, em vez do Google, para sua pesquisa média . Com a tecnologia de pesquisa SOTA agora aberta e não trancada em Mountain View, há uma oportunidade emergente para aplicativos de pesquisa com foco em uma vertical específica e em um excelente UX .

Por exemplo, a Bloop está construindo uma plataforma para pesquisar bases de código corporativas grandes e complexas com facilidade - isso já foi um superpoder concedido apenas a engenheiros do Facebook e do Google, mas agora os engenheiros de qualquer empresa podem obter o aumento de produtividade. Modelos de negócios semelhantes estão sendo aplicados a verticais como serviços médicos, jurídicos e financeiros, e estou animado para ver como eles evoluem.

Pensamentos finais

Há muito hype merecido em torno da IA ​​generativa e, de muitas maneiras, a Pesquisa é apenas uma IA generativa superadaptada . O Google tem sido a porta de entrada para a Internet e o ChatGPT nos mostrou que nem sempre é esse o caso. Na Balderton, acreditamos que a Pesquisa é uma das áreas mais empolgantes da IA ​​hoje — apoiamos muitas empresas nativas de IA nos últimos 12 meses, como Levity , PhotoRoom e outras que ainda não foram anunciadas. Se você estiver construindo no espaço, sinta-se à vontade para entrar em contato comigo em [email protected]