A história de fundo de duas das pessoas mais brilhantes que conheço, que ajudaram a fazer da Pinecone parte da moderna pilha de IA (com algumas referências aos Vingadores)

As postagens de anúncios de financiamento geralmente estão cheias de afirmações exageradas de capitalistas de risco sobre visão, previsão e domínio da categoria. Não farei isso aqui (ou farei?). Em vez disso, falarei sobre nossa conexão com a Pinecone - histórias que remontam a mais de uma década com a equipe fundadora, levando às notícias de hoje: a Pinecone levantou $ 100 milhões na Série B, liderada por A16Z; com crescimento explosivo justificando sua nova avaliação de US$ 750 milhões.

Ao mesmo tempo, vou amarrar algumas analogias dos Vingadores. (Eu faria referência a Star Wars, mas não consegui descobrir quem seria Darth Vader.)

Dizem que parceria em capital de risco é tudo. Felizmente, minha parceria com o fundador Edo Liberty e o CTO Ram Sriharsha remonta a mais de dez anos.

Edo ==Tony Stark

Conheci Edo quando ele estava nos laboratórios de pesquisa do Yahoo, e eu liderava equipes de engenharia, algumas das quais usavam o Hadoop para contar usuários únicos do Yahoo por meio de cookies. O Yahoo atribui cookies exclusivos a cada instância do navegador em uma máquina; o número de cookies em um determinado dia é a união de cookies em vários navegadores, modo de navegação anônima, robôs e limpeza de cookies podem atingir bilhões de usuários únicos. “select count(distinct(cookies))” nessa escala não é divertido, especialmente quando a JVM subjacente está fora da alocação de heap.

Queríamos algo superior e, claro, buscamos o hyperloglog . Insatisfeitos, estendemos os algoritmos de streaming estocástico para o Data Sketches, que agora é um projeto OSS popular . Depois de resolver cientificamente problemas de big data no Yahoo, Edo acabou administrando AI Research Labs na Amazon. Sempre o considerei uma pessoa dinâmica, multi-talentosa e brilhante, com um olho para o que está por vir, mas uma abordagem pragmática. Ele também é alguém que vive a vida ao máximo (estou animado para usar esta rodada para investir em plástico-bolha para protegê-lo de seus hobbies de esportes radicais). Ele é parecido com Tony Stark, exceto que Edo ama sua família e outras pessoas.

Carneiro == Visão

Ram e eu temos outra história paralela e distinta. Freqüentemente, os engenheiros são descritos como desenvolvedores “10x”. Ram não é um desenvolvedor 10x; ele é um desenvolvedor 1000x. Seu intelecto me lembra o Visão dos Vingadores, mas com um coração gigante e carinhoso como o Visão, mas Ram é humano!

Trabalhando juntos na equipe de dados, ficamos insatisfeitos com o desempenho do Hadoop e queríamos mais. Chegamos ao ponto de reescrever tudo em C++ com um formato de arquivo personalizado que se parece exatamente com o Parquet (incluindo metadados no rodapé). Depois de vasculhar a literatura em busca de uma maneira melhor, descobrimos um projeto no UC Berkeley AMPLab chamado Spark. Ficamos intrigados com o modelo de processamento gráfico e imediatamente embarcamos no próximo trem BART para Berkeley para encontrar Ion Stoica, Matei Zaharia e Reynold Xin. Em rápida sucessão, patrocinamos o laboratório, contratamos alguns de seus alunos de pós-graduação como estagiários no Yahoo. A partir disso, nasceu a Databricks, formada pela equipe AMPLabs. Ram se tornou um dos primeiros funcionários da Databricks e um de seus engenheiros mais importantes.

Avançando para 2021 - eu era o CTO da Splunk e Ram dirigia nossas equipes de aprendizado de máquina e pesquisa de segurança. Saí para trabalhar na Menlo Ventures - Ram ficou, mas conversávamos com frequência. Eu queria fundar ou incubar uma empresa com a Ram, e rapidamente desembarcamos nas incorporações de vetores - aplicando-as contra problemas de segurança cibernética ou como um banco de dados. Ram ainda estava em contato com Edo desde que trabalharam juntos no passado. Quando soube que Edo havia aberto uma empresa de banco de dados de vetores, Ram ingressou na Pinecone imediatamente.

Mudanças na arquitetura de IA/dados: aquela sensação de faísca/databricks é diferente

Nesse ponto, eu sabia que tínhamos outro ponto de inflexão em dados e IA. Eu conhecia esse sentimento - já o tinha antes - parecia exatamente como no dia em que levamos o BART para Berkeley e conhecemos a equipe Spark que formou o Databricks.

Os bancos de dados de incorporação de vetores sempre seriam o futuro dos dados. Os vetores são o novo petróleo, como as pessoas disseram uma vez: “Os dados eram o novo petróleo”. É uma maneira mais rica e de alta fidelidade de representar quaisquer dados — estruturados ou não estruturados. A busca semântica é claramente superior à busca lexical e vai mudar a categoria de busca por décadas. As próximas grandes empresas corporativas em segurança, observabilidade, vendas, marketing e muito mais — todas essas categorias serão construídas em incorporações.

A ideia de que uma empresa poderia construir um banco de dados para vetores na nuvem, como a Snowflake fez para OLAP, era uma oportunidade alucinante que era tecnicamente desafiadora e lucrativa. Se alguém pudesse criar um banco de dados em nuvem semelhante ao floco de neve com separação de armazenamento e computação, dimensionamento vertical/horizontal, semântica CRUD e uma camada de armazenamento vetorial personalizada , seria a equipe Edo, Ram e Pinecone.

Fechando negócio

Quando soube que Ram se juntou a Pinecone, tornei minha missão chegar à frente dele. Eu rapidamente me conectei com Edo. Depois de trocar ideias sobre a arte do possível com bancos de dados vetoriais, alguns jantares (inclusive com a esposa de Edo), finalmente chegamos a um acordo. Menlo liderou sua Série A em dezembro de 2021.

US$ 17 milhões a US$ 170 milhões em dezembro de 2021 para um banco de dados vetorial quando ninguém entendia que as incorporações de vetores soavam ousadas.

Estávamos bem em fazer Menlo parecer louco naquele ponto. Estava claro: a pinha seria uma peça âncora na arquitetura da IA. Embora não pudéssemos prever o hype da IA ​​geradora de tempo (a criptografia era dominante na época), sabíamos que o Pinecone seria fantástico devido à pesquisa semântica, aplicações em aprendizado de máquina e, eventualmente, modelos de linguagem, como os que criamos. estão todos apaixonados por hoje.

Pinecone já seria um grande sucesso com base apenas na pesquisa semântica. No entanto, com o surgimento dos LLMs, os desenvolvedores rapidamente perceberam que as alucinações e a falta de atualização do modelo devido ao par insustentável de tamanho e custo eram um problema. A Pinecone preencheu essa lacuna imediatamente, a ponto de o emparelhamento de OpenAI e Pinecone se tornar “uma coisa” agora conhecida como pilha OP.

Essa combinação gerou um crescimento incrível e explosivo na Pinecone. É claro que os bancos de dados vetoriais serão um dos principais elementos de âncora da pilha de dados de IA moderna e que a Pinecone é a líder emergente da categoria com uma equipe comprovada. Estou incrivelmente orgulhoso e animado por estar na jornada com Edo e Ram. Também estamos entusiasmados em dar as boas-vindas a Peter Levine e A16Z à equipe, enquanto continuamos a projetar o futuro da IA ​​com o Pinecone.

PS: Para comemorar esse marco, limpei e promovi a API Julia Pinecone (Pinecone.jl) para 1.0. Obrigado à incrível equipe da Pinecone por me manter alerta usando todos os códigos de status HTTP 20x que eu não sabia que existiam! Tolo para codificar HTTP 200 quando HTTP 202 seria melhor!

Além disso, se você for um usuário do Pinecone, verifique a interface de linha de comando do Pinecone que escrevi, que ajuda a gerenciar índices e CRUD em relação aos dados.