Pinecone을 현대 AI 스택의 일부로 만드는 데 도움을 준 내가 아는 가장 뛰어난 두 사람의 뒷이야기(Avengers 참조 포함)

자금 조달 발표 게시물은 종종 비전, 예측 및 범주 숙달에 대한 과장된 벤처 자본가의 주장으로 가득 차 있습니다. 여기서는 그렇게 하지 않을 것입니다(또는 할 것입니까?). 대신, 저는 Pinecone과의 연결에 대해 이야기할 것입니다. 창립 팀과 함께 10년 이상 거슬러 올라가 오늘 뉴스로 이어진 이야기입니다. Pinecone은 A16Z가 이끄는 $100M 시리즈 B를 모금했습니다. 폭발적인 성장으로 7억 5천만 달러의 새로운 가치를 정당화했습니다.

동시에 몇 가지 Avengers 비유를 연결하겠습니다. (나는 스타워즈를 언급하고 싶지만 누가 다스 베이더인지 알 수 없었다.)

그들은 벤처 캐피털에서의 파트너십이 전부라고 말합니다. 고맙게도 설립자 Edo Liberty 및 CTO인 Ram Sriharsha와의 파트너십은 10년 이상 거슬러 올라갑니다.

에도 == 토니 스타크

나는 Edo가 Yahoo 연구실에 있을 때 처음 만났고 엔지니어링 팀을 이끌었습니다. 그 중 일부는 Hadoop을 사용하여 쿠키를 계산하여 Yahoo의 고유 사용자를 계산했습니다. Yahoo는 컴퓨터의 각 브라우저 인스턴스에 고유한 쿠키를 할당합니다. 주어진 날짜의 쿠키 수는 여러 브라우저, 시크릿 모드, 로봇 및 쿠키 지우기에서 수십억 개의 고유 쿠키에 도달할 수 있는 쿠키의 합입니다. 그 규모에서 "select count(distinct(cookies))"는 특히 기본 JVM이 힙 할당을 벗어날 때 재미가 없습니다.

우리는 더 뛰어난 것을 원했고 물론 hyperloglog 에 도달했습니다 . 만족스럽지 못한 우리는 확률적 스트리밍 알고리즘을 현재 인기 있는 OSS 프로젝트인 데이터 스케치로 확장했습니다 . Yahoo에서 빅 데이터 문제를 과학적으로 해결한 Edo는 결국 Amazon에서 AI Research Labs를 운영했습니다. 나는 항상 그를 역동적이고 다재다능하며 총명한 사람으로 여겼으며, 다음 단계에 대한 안목이 있지만 실용적인 접근 방식을 가지고 있습니다. 그는 또한 삶을 최대한으로 사는 사람입니다(저는 이 라운드를 그의 익스트림 스포츠 취미로부터 그를 보호하기 위해 버블 랩에 투자하는 데 사용하게 되어 기쁩니다). 그는 Edo가 그의 가족과 다른 사람들을 사랑한다는 점을 제외하면 Tony Stark와 비슷합니다.

램 == 비전

Ram과 나는 또 다른 평행하고 뚜렷한 이야기가 있습니다. 종종 엔지니어는 "10x" 개발자로 묘사됩니다. Ram은 10x 개발자가 아닙니다. 그는 1000x 개발자입니다. 그의 지능은 어벤저스의 비전을 떠올리게 하지만 비전처럼 거대하고 배려심 많은 마음을 가지고 있지만 램은 인간입니다!

데이터 팀에서 함께 일하면서 우리는 Hadoop의 성능에 만족하지 못했고 더 많은 것을 원했습니다. 우리는 C++에서 전체를 Parquet와 정확히 같은 사용자 지정 파일 형식(바닥글의 메타데이터 포함)으로 다시 작성하기까지 했습니다. 더 나은 방법을 찾기 위해 문헌을 살펴보다가 우리는 UC Berkeley AMPLab에서 Spark라는 프로젝트를 발견했습니다. 우리는 그래프 처리 모델에 흥미를 느꼈고 Ion Stoica, Matei Zaharia 및 Reynold Xin을 만나기 위해 Berkeley로 가는 다음 BART 열차에 즉시 올라탔습니다. 연달아 우리는 연구실을 후원했고 그들의 대학원생 중 일부를 야후의 인턴으로 고용했습니다. 그로부터 AMPLabs 팀이 만든 Databricks가 탄생했습니다. Ram은 Databricks의 초기 직원이자 가장 중요한 엔지니어 중 한 명이 되었습니다.

2021년으로 빨리 감기 — 저는 Splunk의 CTO였고 Ram은 기계 학습 및 보안 연구 팀을 운영하고 있었습니다. 나는 Menlo Ventures에서 일하기 위해 떠났습니다. Ram은 남아 있었지만 우리는 자주 채팅했습니다. 저는 Ram과 함께 회사를 찾거나 인큐베이팅하고 싶었고, 벡터 임베딩을 사이버 보안 문제에 적용하거나 데이터베이스로 빠르게 적용했습니다. Ram은 과거에 긴밀하게 협력했기 때문에 여전히 Edo와 연락을 취했습니다. Ram은 Edo가 벡터 데이터베이스 회사를 시작했다는 사실을 알았을 때 바로 Pinecone에 합류했습니다.

AI/데이터 아키텍처 변경: Spark/Databricks 느낌이 달라집니다.

그 시점에서 저는 데이터와 AI에 또 다른 변곡점이 있다는 것을 알았습니다. 나는 이런 느낌을 알고 있었습니다. 전에도 느꼈습니다. BART를 Berkeley로 가져가서 Databricks를 구성한 Spark 팀을 만났던 날과 정확히 같은 느낌이었습니다.

벡터 임베딩 데이터베이스는 항상 데이터의 미래가 될 것입니다. "데이터는 새로운 석유였습니다."라고 사람들이 말했듯이 벡터는 새로운 석유입니다. 구조화되거나 구조화되지 않은 모든 데이터를 표현하는 더 풍부하고 충실도가 높은 방법입니다. 시맨틱 검색은 어휘 검색보다 분명히 우수하며 수십 년 동안 검색 범주를 바꿀 것입니다. 보안, 가시성, 영업, 마케팅 등의 차세대 대기업은 임베딩을 기반으로 구축될 것입니다.

Snowflake가 OLAP에 대해 했던 것처럼 회사가 클라우드에서 벡터에 대한 데이터베이스를 구축할 수 있다는 생각은 기술적으로 불가능할 정도로 도전적이고 수익성이 좋은 엄청난 기회였습니다. 스토리지와 컴퓨팅의 분리, 수직/수평 확장, CRUD 시맨틱 및 사용자 정의 벡터 스토리지 레이어 로 Snowflake와 같은 클라우드 데이터베이스를 구축할 수 있는 사람이 있다면 Edo, Ram 및 Pinecone 팀이 될 것입니다.

거래 성사

Ram이 Pinecone에 합류했다는 사실을 알게 되었을 때 저는 그 앞에 선다는 것을 제 사명으로 삼았습니다. 에도와 빠르게 연결되었습니다. 벡터 데이터베이스와 몇 번의 저녁 식사(에도의 아내 포함)를 통해 가능성의 예술에 대한 아이디어를 교환한 후 우리는 결국 거래에 도달했습니다. Menlo는 2021년 12월에 시리즈 A를 이끌었습니다.

2021년 12월 $170M 게시물에서 벡터 데이터베이스에 대해 아무도 벡터 임베딩이 대담하게 들리지 않는다는 것을 이해하지 못했을 때 $17M입니다.

우리는 그 시점에서 Menlo를 미친 것처럼 보이게 해도 괜찮았습니다. 그것은 분명했습니다. Pinecone은 AI 아키텍처의 닻이 될 것입니다. 우리는 타이밍 생성 AI 과대 광고를 예측할 수 없었지만(당시에는 암호화가 지배적이었습니다) 시맨틱 검색, 기계 학습의 응용 프로그램, 그리고 결국 우리가 사용하는 것과 같은 언어 모델로 인해 Pinecone이 환상적일 것이라는 것을 알고 있었습니다. 모두 오늘을 사랑합니다.

Pinecone은 이미 시맨틱 검색만으로 엄청난 히트를 치고 있었습니다. 그러나 LLM이 등장하면서 개발자들은 크기와 비용이 맞지 않아 환각과 모델 신선도 부족이 문제라는 사실을 재빨리 깨달았습니다. Pinecone은 OpenAI와 Pinecone의 페어링이 이제 OP 스택으로 알려진 "물건"이 될 정도로 그 격차를 즉시 채웠습니다 .

그 조합은 Pinecone에서 놀랍고 폭발적인 성장을 촉발시켰습니다. 벡터 데이터베이스는 최신 AI 데이터 스택의 핵심 앵커 요소 중 하나가 될 것이며 Pinecone은 입증된 팀을 보유한 신흥 카테고리 리더임이 분명합니다. Edo와 Ram과 함께 여행을 떠나게 되어 매우 자랑스럽고 흥분됩니다. 우리는 또한 Pinecone으로 AI의 미래를 계속 설계하면서 팀에 Peter Levine과 A16Z를 환영하게 되어 기쁩니다.

추신: 이 이정표를 축하하기 위해 Julia Pinecone API(Pinecone.jl)를 정리하고 1.0으로 승격했습니다. 존재하는지도 몰랐던 모든 HTTP 20x 상태 코드를 사용하여 저를 긴장하게 만든 놀라운 Pinecone 팀에 감사드립니다 ! HTTP 202가 더 나을 때 HTTP 200을 하드코딩하는 것은 어리석은 일입니다!

또한 Pinecone 사용자라면 내가 작성한 Pinecone 명령줄 인터페이스를 확인하십시오. 데이터에 대한 인덱스 및 CRUD를 관리하는 데 도움이 됩니다.