เบื้องหลังของบุคคลที่เก่งกาจที่สุดสองคนที่ฉันรู้จัก ผู้ช่วยทำให้ Pinecone เป็นส่วนหนึ่งของกลุ่ม AI สมัยใหม่ (โดยมีการอ้างอิงจาก Avengers บางส่วน)

โพสต์ประกาศการระดมทุนมักจะเต็มไปด้วยคำกล่าวอ้างเกี่ยวกับวิสัยทัศน์ การมองการณ์ไกล และความเชี่ยวชาญในหมวดหมู่ ฉันจะไม่ทำที่นี่ (หรือเปล่า?) ฉันจะพูดถึงความสัมพันธ์ของเรากับ Pinecone แทน เรื่องราวที่ย้อนกลับไปกว่าทศวรรษร่วมกับทีมผู้ก่อตั้งซึ่งนำไปสู่ข่าวในวันนี้: Pinecone ได้ระดมทุน Series B มูลค่า 100 ล้านดอลลาร์ นำโดย A16Z; ด้วยการเติบโตอย่างรวดเร็วทำให้การประเมินมูลค่าใหม่ของพวกเขามีมูลค่า 750 ล้านดอลลาร์

พร้อมกันนี้ฉันจะเชื่อมโยงความคล้ายคลึงของเวนเจอร์สเข้าด้วยกัน (ฉันจะอ้างอิง Star Wars แต่ฉันคิดไม่ออกว่าใครคือ Darth Vader)

พวกเขากล่าวว่าการเป็นหุ้นส่วนในการร่วมทุนคือทุกสิ่ง โชคดีที่การเป็นหุ้นส่วนของฉันกับผู้ก่อตั้ง Edo Liberty และ CTO Ram Sriharsha ย้อนหลังไปกว่าสิบปี

เอโดะ == โทนี่ สตาร์ค

ฉันพบเอโดะครั้งแรกเมื่อเขาอยู่ที่แล็บวิจัยของ Yahoo และฉันเป็นหัวหน้าทีมวิศวกรรม ซึ่งบางทีมใช้ Hadoop เพื่อนับจำนวนผู้ใช้ที่ไม่ซ้ำใครของ Yahoo ด้วยการนับคุกกี้ Yahoo กำหนดคุกกี้เฉพาะให้กับแต่ละอินสแตนซ์ของเบราว์เซอร์ในเครื่อง จำนวนคุกกี้ในวันหนึ่งๆ คือการรวมกันของคุกกี้ในหลายเบราว์เซอร์ โหมดไม่ระบุตัวตน โรบ็อต และการล้างคุกกี้สามารถเข้าถึงค่าที่ไม่ซ้ำหลายพันล้านครั้งได้ “การเลือกจำนวน (ความแตกต่าง (คุกกี้))” ในระดับนั้นไม่ใช่เรื่องสนุก โดยเฉพาะอย่างยิ่งเมื่อ JVM พื้นฐานอยู่นอกเหนือการจัดสรรฮีป

เราต้องการสิ่งที่เหนือกว่าและแน่นอน เข้าถึงไฮเปอร์ล็อกล็อกได้ ไม่พอใจ เราจึงขยายอัลก อริทึมการสตรีมแบบสุ่มไปยัง Data Sketches ซึ่งตอนนี้เป็นโครงการ OSS ที่ได้รับความนิยม หลังจากแก้ปัญหาบิ๊กดาต้าทางวิทยาศาสตร์ที่ Yahoo ในที่สุด Edo ก็เดินหน้าเปิด AI Research Labs ที่ Amazon ฉันมักจะถือว่าเขาเป็นคนที่มีพลวัต มีความสามารถรอบด้าน และฉลาดหลักแหลม คอยจับตาดูสิ่งต่อไปแต่เป็นวิธีการที่จริงจัง เขายังเป็นคนที่ใช้ชีวิตอย่างเต็มที่ (ฉันตื่นเต้นที่จะใช้รอบนี้เพื่อลงทุนในห่อกันกระแทกเพื่อปกป้องเขาจากงานอดิเรกกีฬาผาดโผนของเขา) เขาคล้ายกับโทนี่ สตาร์ค ยกเว้นว่าเอโดะรักครอบครัวและคนอื่นๆ

ราม == วิชั่น

รามกับฉันมีเรื่องราวที่คู่ขนานและแตกต่างออกไป บ่อยครั้งที่วิศวกรได้รับการอธิบายว่าเป็นนักพัฒนา "10x" Ram ไม่ใช่นักพัฒนา 10x; เขาเป็นนักพัฒนา 1,000x ความเฉลียวฉลาดของเขาทำให้ผมนึกถึง Vision จาก The Avengers แต่มีหัวใจที่เอื้ออาทรขนาดยักษ์อยู่ข้างในเหมือน Vision แต่ Ram เป็นมนุษย์!

การทำงานร่วมกันในทีมข้อมูล เราไม่พอใจกับประสิทธิภาพของ Hadoop และต้องการมากกว่านี้ เราใช้เวลาจนถึงตอนนี้ในการเขียนสิ่งทั้งหมดใหม่ใน C++ ด้วยรูปแบบไฟล์แบบกำหนดเองที่มีลักษณะเหมือน Parquet (รวมถึงข้อมูลเมตาในส่วนท้าย) เราค้นพบโครงการที่ UC Berkeley AMPLab ชื่อ Spark เรารู้สึกทึ่งกับโมเดลการประมวลผลกราฟและกระโดดขึ้นรถไฟ BART ขบวนถัดไปไปยัง Berkeley ทันทีเพื่อพบกับ Ion Stoica, Matei Zaharia และ Reynold Xin เราได้สนับสนุนห้องแล็บอย่างต่อเนื่อง จ้างนักศึกษาที่สำเร็จการศึกษาบางส่วนเป็นนักศึกษาฝึกงานที่ Yahoo จากนั้น Databricks ก็ถือกำเนิดขึ้นโดยทีม AMLabs Ram กลายเป็นพนักงานรุ่นแรกที่ Databricks และเป็นหนึ่งในวิศวกรที่สำคัญที่สุดของพวกเขา

ก้าวไปข้างหน้าอย่างเร็วจนถึงปี 2021 — ฉันเป็น CTO ที่ Splunk และ Ram บริหารทีมการเรียนรู้ของเครื่องและการวิจัยด้านความปลอดภัยของเรา ฉันออกไปทำงานที่ Menlo Ventures — Ram อยู่ต่อ แต่เราคุยกันบ่อย ฉันต้องการก่อตั้งหรือบ่มเพาะบริษัทด้วย Ram และเราก็ลงเอยด้วยการฝังแบบเวกเตอร์อย่างรวดเร็ว — ไม่ว่าจะนำไปใช้กับปัญหาด้านความปลอดภัยในโลกไซเบอร์หรือใช้เป็นฐานข้อมูล รามยังคงติดต่อกับเอโดะเนื่องจากพวกเขาเคยร่วมงานกันอย่างใกล้ชิดในอดีต เมื่อเขารู้ว่าเอโดะได้ก่อตั้งบริษัทฐานข้อมูลเวกเตอร์ Ram ก็เข้าร่วมกับ Pinecone ทันที

การเปลี่ยนแปลงสถาปัตยกรรม AI/ข้อมูล: จุดประกาย/Databricks ที่ให้ความรู้สึกที่แตกต่างออกไป

ณ จุดนั้น ฉันรู้ว่าเรามีจุดเปลี่ยนอีกจุดในด้านข้อมูลและ AI ฉันรู้ถึงความรู้สึกนี้ - ฉันเคยรู้สึกมาก่อน - มันให้ความรู้สึกเหมือนกับวันที่เรานำ BART ไปที่ Berkeley และได้พบกับทีม Spark ที่ก่อตั้ง Databricks

ฐานข้อมูลการฝังเวกเตอร์จะเป็นอนาคตของข้อมูลเสมอ เวกเตอร์คือน้ำมันชนิดใหม่ อย่างที่หลายคนเคยกล่าวไว้ว่า “ข้อมูลคือน้ำมันชนิดใหม่” เป็นวิธีที่สมบูรณ์ยิ่งขึ้นและมีความเที่ยงตรงสูงในการแสดงข้อมูลใดๆ ไม่ว่าจะมีโครงสร้างหรือไม่มีโครงสร้าง การค้นหาความหมายนั้นเหนือกว่าการค้นหาคำศัพท์อย่างชัดเจน และกำลังจะเปลี่ยนหมวดหมู่การค้นหาเป็นเวลาหลายทศวรรษ บริษัทองค์กรขนาดใหญ่รายต่อไปในด้านการรักษาความปลอดภัย การสังเกต การขาย การตลาด และอื่นๆ — หมวดหมู่ทั้งหมดเหล่านี้จะสร้างขึ้นบนการฝัง

แนวคิดที่ว่าบริษัทสามารถสร้างฐานข้อมูลสำหรับเวกเตอร์ในระบบคลาวด์ได้เหมือนกับที่ Snowflake ทำกับ OLAP นั้นเป็นโอกาสอันน่าทึ่งที่มีทั้งความท้าทายทางเทคนิคและผลกำไรที่เป็นไปไม่ได้ ถ้าใครก็ตามที่สามารถสร้างฐานข้อมูลคลาวด์ที่เหมือน Snowflake ด้วยการแยกพื้นที่จัดเก็บและการคำนวณ การปรับขนาดแนวตั้ง/แนวนอน ความหมายของ CRUD และเลเยอร์พื้นที่เก็บข้อมูลเวกเตอร์ที่กำหนดเองจะต้องมีทีม Edo, Ram และ Pinecone

ปิดดีล

เมื่อฉันรู้ว่า Ram เข้าร่วมกับ Pinecone ฉันก็ตั้งเป้าหมายที่จะเป็นผู้นำให้ได้ ฉันติดต่อกับเอโดะอย่างรวดเร็ว หลังจากแลกเปลี่ยนความคิดเห็นเกี่ยวกับศิลปะที่เป็นไปได้กับฐานข้อมูลเวกเตอร์ ดินเนอร์สองสามมื้อ (รวมทั้งกับภรรยาของเอโดะ) ในที่สุดเราก็บรรลุข้อตกลง Menlo เป็นผู้นำ Series A ในเดือนธันวาคม 2021

$17M ที่ $170M โพสต์ในเดือนธันวาคม 2021 สำหรับฐานข้อมูลเวกเตอร์เมื่อไม่มีใครเข้าใจว่าการฝังเวกเตอร์ฟังดูเป็นตัวหนา

เราโอเคที่จะให้เมนโลดูคลั่งไคล้ในตอนนั้น เห็นได้ชัดว่า Pinecone จะเป็นชิ้นส่วนหลักในสถาปัตยกรรมของ AI แม้ว่าเราจะไม่สามารถคาดเดากระแส AI กำเนิดเวลาได้ (crypto มีบทบาทสำคัญในขณะนั้น) แต่เรารู้ว่า Pinecone จะยอดเยี่ยมเนื่องจากการค้นหาความหมาย แอปพลิเคชันในการเรียนรู้ของเครื่อง และในที่สุด โมเดลภาษา เช่นเดียวกับที่เรา ต่างก็หลงรักในวันนี้

Pinecone กำลังได้รับความนิยมอย่างมากจากการค้นหาความหมายเพียงอย่างเดียว อย่างไรก็ตาม ด้วยการเพิ่มขึ้นของ LLM นักพัฒนาตระหนักได้อย่างรวดเร็วว่าภาพหลอนและการขาดความสดใหม่ของโมเดลเนื่องจากขนาดและราคาที่ไม่สามารถป้องกันได้เป็นปัญหา Pinecone เติมเต็มช่องว่างนั้นทันที จนถึงจุดที่การจับคู่ของ OpenAI และ Pinecone กลายเป็น "สิ่งหนึ่ง" ซึ่งปัจจุบันรู้จักกันในชื่อ OP stack

การรวมกันดังกล่าวจุดประกายการเติบโตอย่างไม่น่าเชื่อและระเบิดใน Pinecone เป็นที่ชัดเจนว่าฐานข้อมูลเวกเตอร์จะเป็นหนึ่งในองค์ประกอบหลักของสแต็กข้อมูล AI สมัยใหม่ และ Pinecone เป็นผู้นำหมวดหมู่ที่เกิดขึ้นใหม่พร้อมทีมงานที่พิสูจน์แล้ว ฉันภูมิใจและตื่นเต้นมากที่ได้ร่วมเดินทางกับเอโดะและราม นอกจากนี้ เรายังรู้สึกตื่นเต้นที่ได้ต้อนรับ Peter Levine และ A16Z เข้าสู่ทีม ในขณะที่เรายังคงออกแบบอนาคตของ AI ร่วมกับ Pinecone

ป.ล.: เพื่อเป็นการฉลองเหตุการณ์สำคัญนี้ ฉันได้ทำการล้างข้อมูลและเลื่อนระดับJulia Pinecone API (Pinecone.jl)เป็น 1.0 ขอบคุณทีม Pinecone ที่น่าทึ่งที่คอยดูแลฉันโดยใช้รหัสสถานะ HTTP 20x ทุกรหัส ที่ฉันไม่รู้ว่ามีอยู่! ฉันโง่ที่จะฮาร์ดโค้ด HTTP 200 เมื่อ HTTP 202 จะดีกว่า!

นอกจากนี้ หากคุณเป็นผู้ใช้ Pinecone ให้ตรวจสอบอินเทอร์เฟซบรรทัดคำสั่งของ Pinecone ที่ฉันเขียน ซึ่งจะช่วยคุณจัดการดัชนีและ CRUD กับข้อมูล