Foundational Model Orchestration (FOMO) — รองพื้น

มุมมองของ VC Astasia Myers เกี่ยวกับแมชชีนเลิร์นนิง โครงสร้างพื้นฐานระบบคลาวด์ เครื่องมือสำหรับนักพัฒนา โอเพ่นซอร์ส และความปลอดภัย ลงทะเบียนที่นี่

มีสองวิธีในการสร้างแอปพลิเคชัน Machine Learning (ML) ตามธรรมเนียมแล้ว นักวิทยาศาสตร์ข้อมูลและวิศวกร ML จะฝึกฝนหรือปรับแต่งโมเดล ML อย่างละเอียดซึ่งนำไปใช้กับการผลิตเป็นโน้ตบุ๊กหรือ API เมื่อเร็ว ๆ นี้ มีแนวทางใหม่เกิดขึ้นโดยผู้ปฏิบัติงาน ML ที่สามารถรวมนักพัฒนาซอฟต์แวร์ ใช้ประโยชน์จากวิศวกรรมพร้อมรับคำสั่งเพื่อรับผลลัพธ์จากโมเดลพื้นฐานที่โฮสต์ผ่าน API วิศวกรรมพร้อมท์เป็นแนวคิดการประมวลผลภาษาธรรมชาติ (NLP) ที่เกี่ยวข้องกับการค้นหาอินพุตที่ให้ผลลัพธ์ที่ต้องการหรือมีประโยชน์จากโมเดล ML ด้วยการเพิ่มขึ้นของโมเดลพื้นฐาน เราได้เห็นการเกิดขึ้นของเครื่องมือใหม่ที่เรียกว่า Foundational Model Orchestration (FOMO) ที่ประสานงานภายในเวิร์กโฟลว์ที่ขับเคลื่อนด้วยโมเดลพื้นฐาน

จากข้อมูลของ Stanfordแบบจำลองพื้นฐานคือ “แบบจำลองที่ได้รับการฝึกอบรมเกี่ยวกับข้อมูลกว้างๆ (โดยทั่วไปจะใช้การกำกับดูแลตนเองตามขนาด) ที่สามารถปรับให้เข้ากับงานปลายน้ำที่หลากหลาย” โมเดลพื้นฐานในปัจจุบันรองรับรูปแบบเดียว เช่น ข้อความ (เช่นOpen GPT-3 , CohereและAnthropic ); ภาพ ( ความเสถียร , DallE ); วิดีโอ ( Microsoft X-Clip ); และเสียง ( OpenAI Whisper ) เราคาดว่าจะเห็นโมเดลพื้นฐานหลายโมดอลในอนาคต

เราได้พูดคุยกับผู้ปฏิบัติงาน 20 ML ที่สร้างแอปพลิเคชันโดยใช้ประโยชน์จากโมเดลพื้นฐาน ที่น่าสนใจคือ 50% เป็นวิศวกรซอฟต์แวร์ ซึ่งเป็นบุคคลใหม่ภายใน ML เนื่องจากโมเดลพื้นฐานลดอุปสรรคในการสร้างโมเดล ML และเป็นนามธรรมในระดับที่สูงขึ้น จึงเป็นครั้งแรกที่เราได้เห็นนักพัฒนาซอฟต์แวร์กลายเป็นส่วนหนึ่งของกระบวนการพัฒนา ML สำหรับผู้ที่ทำงานกับโฮสต์ Large Lange Models (LLMs) นั้นOpen GPT-3ถูกใช้ 80% ของเวลาทั้งหมด, Cohere 15% และAnthropic 5% เราพบว่ากรณีการใช้งานที่พบบ่อยที่สุดคือการค้นหา การสรุป คำถามและคำตอบ และแชทบอท

เหตุผลหนึ่งที่โซลูชัน FOMO เกิดขึ้นเนื่องจาก API โมเดลพื้นฐานมีอยู่ในบริบทของไปป์ไลน์ ซึ่งรวมถึงการคำนวณข้อมูลและระบบความรู้ เวลาส่วนใหญ่ในการค้นหาค่าจากโมเดลไม่ใช่แค่การค้นหา API เพื่อรับผลลัพธ์ แต่เป็นกระบวนการหลายขั้นตอนแทน ปัจจุบัน API ที่โฮสต์ไม่มีการประมวลผลก่อนและหลังการประมวลผลซึ่งเป็นส่วนหนึ่งของประสบการณ์การใช้งานแพลตฟอร์ม ตัวเร่งปฏิกิริยาสำหรับการประมวลผลล่วงหน้าคือโมเดลพื้นฐานมีขีดจำกัดโทเค็นประมาณ 4K ดังนั้นผู้ใช้จำเป็นต้องแยกสตริง เหตุผลประการที่สองที่โซลูชัน FOMO ปรากฏขึ้นคือโมเดลพื้นฐานในปัจจุบันไม่อนุญาตให้ทีมรวมเข้ากับทรัพยากรภายนอกโดยตรง เช่น ฐานข้อมูลและผลิตภัณฑ์ SaaS ซึ่งหมายความว่าผู้ใช้ไม่สามารถเพิ่มข้อมูลของตนเองไปยังโมเดลได้โดยตรงเพื่อเพิ่มประสิทธิภาพสำหรับงานหรือโดเมนบางอย่าง

สมมติว่าคุณต้องการสรุปการถอดเสียงโดยใช้โมเดลพื้นฐาน เช่น GPT-3 หากคุณมีสำเนาการประชุมที่มีความยาวหนึ่งชั่วโมง อาจมีประมาณ 7.5K คำ 1,500 คำเท่ากับประมาณ 2,048 โทเค็น ดังนั้นการถอดเสียงทั้งหมดจึงประมาณ 10K โทเค็น นั่นเกินขีดจำกัดโทเค็น 4K และมากเกินไปสำหรับหนึ่งพรอมต์ ในทางกลับกัน คุณต้องเริ่มต้นด้วยการแยกสตริงเพื่อแบ่งข้อความออกเป็นสามกลุ่ม จากนั้นเป็นแผนที่/ลดความพยายามที่คุณใช้ GPT-3 เพื่อสรุปส่วนต่างๆ ของเอกสาร (โดยมีการทับซ้อนกันในระดับหนึ่งระหว่างส่วนต่างๆ) สุดท้าย คุณสอบถามแบบจำลองเพื่อสรุปผลสรุปสำหรับผลลัพธ์สุดท้าย

อีกตัวอย่างหนึ่งคือการสร้างบริการถามตอบสำหรับหนังสือเรียน นี่เป็นข้อมูลจำนวนมาก ดังนั้นคุณจึงเริ่มต้นด้วยการแยกสตริงวัสดุออกเป็นชิ้นๆ คุณสามารถสร้างการฝังชิ้นส่วนและเพิ่มเข้าด้วยกันในร้านค้าเวกเตอร์เช่นPineconeหรือWeaviate เมื่อผู้ใช้ถามคำถาม คุณจะฝังข้อความค้นหาโดยใช้โมเดลการฝังเดียวกัน และค้นหาความคล้ายคลึงกันของโคไซน์โดยใช้ฐานข้อมูลเวกเตอร์ของคุณ สิ่งนี้ช่วยให้คุณสร้างพรอมต์ที่สามารถใช้กับ API โมเดลพื้นฐานเพื่อรับการตอบกลับ สิ่งนี้แสดงให้เห็นถึงกระบวนการหลายขั้นตอนของการประมวลผลล่วงหน้าไปจนถึงการฝังเพื่อค้นหา "เพื่อนบ้านที่ใกล้ที่สุด" การค้นหาเพื่อค้นหาโมเดล LLM พร้อมข้อความแจ้งเพื่อรับคำตอบกลับ

โซลูชัน FOMO มีประโยชน์สำหรับการผูก LLM กับระบบข้อมูลภายใน วิศวกรรมที่รวดเร็ว เช่น ข้อความแจ้งการทดสอบ A/B; ผูกมัดโมเดลเข้าด้วยกัน การเปลี่ยนโมเดลพื้นฐาน และแบบจำลองพื้นฐานของการทดสอบ A/B เราคาดว่าโมเดลพื้นฐานจะเพิ่มความสามารถในการเชื่อมโยงกับบริการของบุคคลที่สามสำหรับการเสริมการดึงข้อมูล ดังนั้นมูลค่าของฟังก์ชันนี้จึงลดลงเมื่อเวลาผ่านไป ในขณะที่ผู้ปฏิบัติงาน ML ยังคงต้องจัดการพรอมต์แต่ละรายการที่ ping API เราเชื่อว่าคุณค่าของวิศวกรรมพรอมต์จะลดลงเมื่อเวลาผ่านไปด้วยการเรียนรู้แบบ Zero-shot และเพิ่มขีดจำกัดของโทเค็น เราเชื่อในโลกที่มีแบบจำลองพื้นฐานมากมายที่ปรับให้เหมาะกับงานเฉพาะที่ต้องเชื่อมโยงเข้าด้วยกัน ในโลกนี้มูลค่าของ FOMO สูงขึ้นเพราะอำนวยความสะดวกในการทดสอบ A/B โมเดลพื้นฐาน บริการผูกมัด และเปลี่ยนรุ่นได้อย่างง่ายดาย เมื่อพูดคุยกับผู้ใช้ เราได้ยินว่าเกณฑ์การตัดสินใจสำหรับผู้จำหน่ายแบบจำลองรายใดที่จะเลือกคือส่วนผสมของประสิทธิภาพ ต้นทุน ตัวกรองผลลัพธ์ และความสัมพันธ์ที่มีอยู่ เราได้ยินมาอย่างสม่ำเสมอว่าการ ping model APIs อาจมีราคาแพง ดังนั้นบริษัทต่างๆ อาจใช้โมเดลที่แตกต่างกันตามระดับชั้นของลูกค้า โซลูชั่น FOMO สามารถช่วยประหยัดต้นทุนและความยืดหยุ่นของผู้ขายโดยเป็นส่วนต่อประสานผู้ให้บริการหลายรายที่รวมเป็นหนึ่งเดียว

นอกจากนี้ เราไม่เชื่อในโลกที่โมเดลหลายโมดอลเดียวสามารถทำงานทั้งหมดได้ จึงไม่จำเป็นต้องมีห่วงโซ่ เราเชื่อว่าจะมีโมเดลพื้นฐานที่เชี่ยวชาญมากขึ้นซึ่งจะทำให้งานนั้นๆ ดีขึ้นเมื่อเวลาผ่านไป ยิ่งไปกว่านั้น เราสามารถจินตนาการได้ว่าเชนจะรวมเอา ML API ที่โฮสต์และโมเดลที่ปรับแต่งอย่างละเอียดด้วยตัวเองเข้าด้วยกัน แม้ว่าผลิตภัณฑ์ FOMO จะเริ่มต้นด้วย LLM แต่เราคาดหวังว่าผลิตภัณฑ์เหล่านี้จะก้าวไปไกลกว่า LLM ไปสู่ประเภทโมเดลพื้นฐานอื่นๆ เช่น ภาพ วิดีโอ เสียง ฯลฯ ในรูปแบบหลายรูปแบบ

บางคนอาจสงสัยว่าเหตุใดคุณจึงไม่สามารถจัดการแบบจำลองพื้นฐานด้วยโซลูชันการจัดการข้อมูลหรือ ML ได้ ปัจจุบันโซลูชันเหล่านี้ไม่มีฟีเจอร์และอะแดปเตอร์สำหรับการสร้างตามวัตถุประสงค์สำหรับระบบนิเวศโมเดลพื้นฐาน ตามที่อธิบายไว้ข้างต้น ไปป์ไลน์โมเดลพื้นฐานแตกต่างจากข้อมูลหรือ ML โซลูชันการจัดการ ML มุ่งเน้นไปที่การประสานวงจรชีวิตของ ML ตั้งแต่การฝึกอบรม การติดตาม การทดสอบ ไปจนถึงการปรับใช้และการให้บริการ โซลูชั่น FOMO มีความเข้าใจในหัวข้อ ทางเลือกจะต้องเพิ่มขึ้นอย่างมาก แม้ว่าจะไม่เป็นไปไม่ได้ แต่ก็ไม่ใช่ส่วนขยายที่เป็นธรรมชาติที่สุด

ขณะนี้มีข้อเสนอจำนวนหนึ่งในพื้นที่การจัดการโมเดลพื้นฐาน ได้แก่LangChain , Dust , GPT IndexและCognosis เราได้ยินจากผู้ใช้ว่าข้อเสนอนี้ช่วยเร่งการพัฒนาแอปพลิเคชันโมเดลพื้นฐานและกำลังใช้ในการผลิตเพียงไม่กี่เดือนหลังจากเปิดตัว

เราเชื่อว่า FOMO จะเป็นส่วนสำคัญของสแต็กโครงสร้างพื้นฐานแบบจำลองพื้นฐาน ในขณะที่อัลกอริทึมกำลังก้าวหน้าอย่างรวดเร็วโดยที่ผู้คนคาดหวัง GPT-4 อย่างใจจดใจจ่อ เครื่องมือต่างๆ ก็เกิดขึ้นอย่างรวดเร็วเช่นกัน ตั้งแต่การเพิ่มประสิทธิภาพการประเมินไปจนถึงการดีบักไปจนถึงความสามารถในการสังเกตไปจนถึงแพลตฟอร์มโค้ดต่ำ เราคาดว่าจะมีห่วงโซ่เครื่องมือแบบจำลองพื้นฐานใหม่เกิดขึ้น หากคุณหรือคนที่คุณรู้จักกำลังดำเนินการเกี่ยวกับการเริ่มต้นใช้งานเครื่องมือ ML หรือข้อเสนอที่อยู่ติดกัน คงจะดีมากหากได้รับการติดต่อจากคุณ แสดงความคิดเห็นด้านล่างหรือส่งอีเมลถึงฉันที่[email protected] เพื่อแจ้งให้เราทราบ