ในกรณีที่คุณอาศัยอยู่ใต้ก้อนหินตั้งแต่เดือนพฤศจิกายน 2022โฆษณาเกี่ยวกับ AI กำเนิดได้ถึงจุดสูงสุดเป็นประวัติการณ์ ผลิตภัณฑ์เช่น ChatGPT ทำให้ผู้คนจำนวนมากได้เห็นพลังของโมเดลภาษาขนาดใหญ่ (LLM) และสร้างแรงบันดาลใจให้กับกลุ่มผู้สร้างกลุ่มใหม่ ซึ่งหลายคนไม่มีพื้นฐานด้านการเรียนรู้ของเครื่อง เพื่อสร้างแอปพลิเคชันที่ขับเคลื่อนด้วย ML บนรากฐานที่โฮสต์ โมเดล

วิธีที่บริษัทส่วนใหญ่โต้ตอบกับโมเดลพื้นฐานนั้นแตกต่างจากเวิร์กโฟลว์ ML แบบดั้งเดิมเล็กน้อย แทนที่จะสร้างโมเดลและไปป์ไลน์ทั้งหมดที่จำเป็นในการฝึกอบรมภายในองค์กร คุณเพียงแค่เข้าถึงโมเดลผ่าน API แทนที่จะทำซ้ำกับโมเดลเพื่อให้ได้ผลลัพธ์ที่ต้องการ คุณกำลังทำสิ่งต่างๆ เช่น กระตุ้นโมเดลปรับแต่งพรอมต์และป้อนข้อมูลกรณีการใช้งานเฉพาะของโมเดล สิ่งนี้กระตุ้นให้เกิดเครื่องมือสำหรับนักพัฒนาชุดใหม่ขึ้นมา ทั้งหมดนี้มีเป้าหมายเพื่อให้การทำงานกับโมเดลพื้นฐานง่ายขึ้น ผู้คนจำนวนมากนึกถึงสแต็ก “foundation model ops” (FMOps) ที่เกิดขึ้นใหม่นี้ (ผู้คนที่ Unusual Ventures นำเสนอหนึ่งในไพรเมอร์ที่ฉันชื่นชอบบนอวกาศ ) และ VC ในระยะเริ่มต้นกำลังวางเดิมพันกับเครื่องมือใหม่ที่น่าสนใจอย่างLangChain, ฝุ่นละออง ,และอื่นๆ.

พลั่วและพลั่วใหม่เหล่านี้น่าตื่นเต้น แต่ฉันคิดว่าหลายคนมองข้ามการเปลี่ยนแปลงที่ละเอียดอ่อนกว่าที่ FMOps กำลังนำเสนอสำหรับสแต็ก MLOps "ดั้งเดิม" ที่เหลือ ความท้าทายบางอย่างที่ไม่เหมือนใครเมื่อทำงานกับโมเดลพื้นฐานเป็นปัญหาที่กว้างกว่ามากใน ML ที่ต้องแก้ไข แน่นอน Twitter อาจคิดว่าคุณน่าเบื่อที่จะพูดถึง “การจัดการข้อมูล” แทนที่จะเป็น “วิศวกรรมที่พร้อมรับคำสั่ง” แต่ท้ายที่สุดแล้ว ประเด็นเหล่านี้ก็คล้ายกันมาก ฉันจะเถียงว่าการสร้างผ่านเลนส์ของอดีตมากกว่าหลังสามารถมีผลกระทบที่ใหญ่กว่าต่อระบบนิเวศ ML โดยรวม

ดังนั้น ลองย่อออกจากโฆษณา AI กำเนิดและพิจารณาโอกาสสองสามอย่างที่ FMOps อาจนำมาไว้เบื้องหน้า แต่สามารถนำไปใช้กับการเรียนรู้ของเครื่องทั้งหมดได้: การเน้นที่ข้อมูล การตรวจสอบแบบจำลองและการฟื้นคืนสู่จุดสิ้นสุด -to-end แพลตฟอร์ม

การเน้นข้อมูลใหม่

โมเดลพื้นฐาน โดยเฉพาะ LLM ได้แสดงให้เห็นว่าข้อมูลที่คุณป้อนให้กับโมเดลนั้นมีความสำคัญพอๆ กับตัวโมเดลเอง แบบจำลองพื้นฐานมีลักษณะทั่วไปโดยเนื้อแท้เนื่องจากขนาดและความหลากหลายของข้อมูล (อ่าน: อินเทอร์เน็ตทั้งหมด) ที่พวกเขาได้รับการฝึกฝนมา เพื่อให้โมเดลพื้นฐานใช้งานได้กับกรณีการใช้งานเฉพาะ คุณต้องกระตุ้นซ้ำๆ หรือปรับแต่งโมเดลด้วยข้อมูลเฉพาะโดเมน

AI ที่เน้นข้อมูลเป็นหัวข้อที่ฉันเคยเขียนถึงในอดีตและได้รับแรงผลักดันในช่วงไม่กี่ปีที่ผ่านมา การเน้นที่ข้อมูลใหม่สำหรับ FMOps ควรเร่งการเคลื่อนไหวของ AI ที่เน้นข้อมูลทั้งหมดและนำนวัตกรรมใหม่มาสู่เครื่องมือการจัดการข้อมูลสำหรับ MLOps ในวงกว้างมากขึ้น

จนถึงปัจจุบัน การติดฉลากข้อมูลเป็นศูนย์กลางของจักรวาล AI ที่มีข้อมูลเป็นศูนย์กลาง แต่นวัตกรรมถูกจำกัดให้ประหยัดเวลาเพิ่มขึ้นมากกว่าการติดฉลากด้วยมือ อย่างไรก็ตาม ด้านข้อมูลของ AI เป็นมากกว่าแค่การติดฉลาก คุณภาพข้อมูลและการจัดการชุดข้อมูลเป็นโอกาสที่น่าตื่นเต้น 2 ประการและมีบริษัทแบบสแตนด์อโลนอย่างCleanlabที่กำลังดำเนินการในเรื่องนี้ อยู่ ในขณะที่บริษัทจัดทำฉลากข้อมูลอยู่ในตำแหน่งที่ยอดเยี่ยมในการเป็นศูนย์กลางของข้อมูลด้าน AI ทั้งหมด ( Snorkelโดยเฉพาะอย่างยิ่งได้พึ่งพาการส่งข้อความ AI ที่เน้นข้อมูลเป็นหลักในช่วงไม่กี่ปีที่ผ่านมา) มีผู้เล่นโครงสร้างพื้นฐานข้อมูลรายอื่น ๆ อีกมากมายที่มีความทะเยอทะยานในการคว้าโอกาสแพลตฟอร์มนี้ บริษัทฉลากจะต้องขยายการมุ่งเน้นนอกเหนือจากการเป็นผู้ทำหมายเหตุประกอบที่เร็วและถูกที่สุดเพื่อรักษาความเป็นผู้นำ

ฉันยังคิดว่าบริษัทที่มีความทะเยอทะยานด้านแพลตฟอร์มจะต้องช่วยองค์กรด้านวิศวกรรมเชื่อมช่องว่างระหว่าง DataOps และ ModelOpsซึ่งเป็นฟังก์ชันที่แยกจากกันส่วนใหญ่ในปัจจุบัน มีสัญญาณเริ่มต้นว่าสิ่งนี้กำลังเกิดขึ้น ตัวอย่างเช่น บริษัทฉลากข้อมูลEncordได้เปิดตัวชุดเครื่องมือการเรียนรู้เชิงรุกในช่วงต้นปี 2023 เพื่อช่วยเชื่อมโยงจุดต่างๆ ระหว่างประสิทธิภาพของโมเดลและข้อมูล รวมถึงคุณลักษณะต่างๆ เช่น คุณภาพข้อมูลและการตรวจสอบความถูกต้อง บริษัทจัดการโมเดลCometเปิดตัวโครงการโอเพ่นซอร์สชื่อKangasซึ่งช่วยให้ผู้ใช้สำรวจและวิเคราะห์ชุดข้อมูลขนาดใหญ่ ฉันคาดว่าเราจะเห็นการครอสโอเวอร์ระหว่าง DataOps และ ModelOps มากขึ้นในอนาคตอันใกล้นี้

การตรวจสอบและการตรวจสอบจะกลายเป็นกระแสหลัก

การตรวจสอบโมเดลไม่ใช่แนวคิดใหม่ บริษัทต่างๆ เช่นFiddlerและArizeได้สร้างบริษัททั้งหมดโดยใช้การตรวจสอบแบบจำลอง ในขณะที่แพลตฟอร์ม MLOps อื่นๆ ได้รวมไว้ในผลิตภัณฑ์ของตน อย่างไรก็ตาม เสียงกระหึ่มของโมเดลพื้นฐานดูเหมือนจะให้ความสำคัญกับการตรวจสอบโมเดลอีกครั้ง อาจเป็นเพราะมีวาทศิลป์สาธารณะมากมายเกี่ยวกับข้อบกพร่องและลักษณะกล่องดำของแบบจำลองพื้นฐาน หรืออาจเป็นเพราะโมเดลพื้นฐานเร่งการเข้าถึง ML อย่างมาก และทำให้กลุ่มเป้าหมายที่ใหญ่กว่ามาก (และมักจะซับซ้อนน้อยกว่า) เพื่อนำผลิตภัณฑ์ที่ขับเคลื่อนด้วย ML เข้าสู่การผลิต ไม่ว่าในกรณีใด เหตุผลก็คือการมีโมเดล ML จำนวนมากขึ้นในไวลด์การตรวจสอบแบบจำลองและการตรวจสอบความถูกต้องของแบบจำลองในตำแหน่งโพลเพื่อย้ายจากเฉพาะไปสู่กระแสหลักในอีกไม่กี่ปีข้างหน้า

ทุกวันนี้ การตรวจสอบโมเดล (ซึ่งเกิดขึ้นหลังจากโมเดลถูกนำไปผลิตจริง) และการทดสอบโมเดลและการตรวจสอบความถูกต้อง (ซึ่งเกิดขึ้นระหว่างกระบวนการสร้างโมเดล) กำลังดำเนินการเป็นตลาดที่แยกจากกัน การทดสอบและตรวจสอบโมเดลมีโอเพ่นซอร์สที่แข็งแกร่ง (คิดว่าห้องสมุด Python เช่นDeepchecksและEvidently ) ในขณะที่การตรวจสอบดูเหมือนจะถูกครอบงำโดยผู้เล่นเชิงพาณิชย์เช่นที่ฉันกล่าวถึงข้างต้น ดูเหมือนว่าทั้งสองสาขาจะเติบโตอย่างอิสระในอีกไม่กี่ปีข้างหน้า แม้ว่าฉันคาดหวังว่าในที่สุดแล้วพวกเขาจะเริ่มบรรจบกัน ไม่ว่าจะด้วยกันเองหรือกับส่วนอื่นๆ ของกลุ่มการสร้างแบบจำลอง เช่น การจัดการการทดลอง

ที่เกี่ยวข้องการทำความเข้าใจความลำเอียงและความเป็นธรรมของแบบจำลองซึ่งปัจจุบันเป็นข้อกังวลส่วนใหญ่ของบริษัทใน Fortune 500 และบริษัทที่อยู่ภายใต้การกำกับดูแล เป็นพื้นที่ปัญหาที่เพิ่มมากขึ้น ซึ่งควรจะเริ่มใช้งบประมาณมากขึ้นอย่างช้าๆ แต่แน่นอน การเกิดขึ้นของ LLM ทำให้สาธารณชนตระหนักในประเด็นนี้เพิ่มขึ้นอย่างมาก โดยมีตัวอย่างผลิตภัณฑ์การสนทนาที่ใช้ LLM มากเกินไปจนออกนอกลู่นอกทาง เครื่องมือสำหรับสิ่งนี้ยังค่อนข้างใหม่ (ผลิตภัณฑ์เช่นCredo AIมีความสามารถที่แข็งแกร่งโดยเฉพาะอย่างยิ่งในการช่วยเหลือผู้มีส่วนได้ส่วนเสียด้านเทคนิคและไม่ใช่ด้านเทคนิคร่วมมือกันในการดำเนินนโยบาย) และอาจต้องใช้กฎระเบียบมากขึ้นเพื่อให้ตลาดนี้กลายเป็นกระแสหลัก (ตลาดความเป็นส่วนตัวของข้อมูลซึ่งได้รับการสนับสนุนอย่างมากจาก GDPR เป็นการเปรียบเทียบที่ยอดเยี่ยม ที่นี่). อย่างไรก็ตาม ความสำคัญของ ML ที่ยุติธรรมและมีจริยธรรมนั้นเพิ่มขึ้นอย่างไม่ต้องสงสัย ไม่ลดขนาดลง และสามารถใช้ได้ในระดับสากลไม่ว่าคุณจะใช้โมเดลพื้นฐานหรือไม่ก็ตาม

การฟื้นคืนชีพของแพลตฟอร์มแบบ end-to-end

สิ่งหนึ่งที่เป็นเอกลักษณ์ของสแต็ก FMOps คือมีแนวโน้มที่จะทำงานในระดับนามธรรมที่สูงกว่าเมื่อเทียบกับสแต็ก MLOps แบบดั้งเดิม ด้วยเหตุนี้ FMOps จึงมีศักยภาพในการฟื้นฟูชุด ML แบบ all-in-one ซึ่งเป็นโมเดลที่ในอดีตล้มเหลวในการเรียนรู้ของเครื่อง "แบบดั้งเดิม"

ในยุคแรก ๆ ของ MLOps มีบริษัทไม่กี่แห่งที่พยายามจัดหาชุดเครื่องมือแบบ end-to-end สำหรับการสร้าง จัดการ และปรับใช้โมเดล แนวทาง "แจ็คของการค้าทั้งหมดไม่มีผู้เชี่ยวชาญ" นี้พยายามที่จะได้รับการนำไปใช้เป็นหลักสาเหตุหลักมาจากความซับซ้อนที่แท้จริงของการริเริ่มการเรียนรู้ด้วยเครื่องโดยเฉพาะอย่างยิ่งเมื่อความคิดริเริ่มเหล่านั้นเริ่มเข้าสู่การผลิตสำหรับกรณีการใช้งานที่สำคัญทางธุรกิจ ด้วยเหตุนี้ สแต็ก MLOps ในปัจจุบันจึงเป็นแบบโมดูลาร์ โดยมักจะมีผู้ให้บริการที่แตกต่างกันซึ่งนำเสนอการจัดการข้อมูล การจัดการการทดลองแบบจำลอง การฝึกอบรม การปรับใช้ การตรวจสอบ และการเพิ่มประสิทธิภาพ

มีประโยชน์บางประการสำหรับสิ่งนี้ โดยเฉพาะอย่างยิ่งในตอนท้ายของตลาดที่ซับซ้อนมากขึ้น เป็นการยากที่จะจินตนาการถึงอนาคตที่บริษัทประเภทนี้จะย้ายออกจากกลุ่มที่ดีที่สุด โดยไม่คำนึงว่าพวกเขากำลังใช้แบบจำลองพื้นฐานหรือของตนเอง อย่างไรก็ตาม บริษัทที่เป็นเจ้าของ AI น้อยกว่า ซึ่งส่วนหนึ่งต้องขอบคุณโมเดลพื้นฐานและความพร้อมใช้งานที่เพิ่มขึ้นของโมเดลโอเพ่นซอร์ส กำลังสร้างแอปพลิเคชันที่ขับเคลื่อนด้วย ML เป็นครั้งแรก จะได้รับบริการที่ดีกว่ามากจากโซลูชันแบบรวม ในที่สุดการสร้างเครื่องมือ MLOps แบบออลอินวันที่มีประสิทธิภาพของตลาดก็เป็นไปได้ขณะนี้ความซับซ้อนของการสร้างแบบจำลองกำลังถูกแยกออกไปมากขึ้น และตลาดสำหรับโซลูชันแบบ all-in-one ก็เติบโตอย่างรวดเร็ว ฉันคาดหวังว่าเราจะเห็นผู้เข้ามาใหม่จำนวนมากขึ้นที่เริ่มต้นเป็นโซลูชันแบบ all-in-one ตั้งแต่วันแรก เช่นเดียวกับโซลูชันเฉพาะจุดที่จะขยายไปสู่ส่วนอื่นๆ ของเวิร์กโฟลว์ ML ได้เร็วขึ้นมาก

มันเป็นมากกว่าแค่โฆษณา

การเปิดตัว ChatGPT เป็นช่วงเวลาที่น่าขบขันสำหรับผู้ฝึกหัด ML มาเป็นเวลานาน แม้ว่าโมเดลเหล่านี้จะมีมานานหลายปีแล้ว แต่ในที่สุดก็รู้สึกเหมือนกับว่าทั่วโลกได้ตื่นขึ้นและตระหนักถึงพลังของแมชชีนเลิร์นนิง แมชชีนเลิร์นนิงเป็นการเปลี่ยนแปลงกระบวนทัศน์ทางเทคนิครุ่นต่อรุ่นอย่างแท้จริง ซึ่งมีประสิทธิภาพพอๆ กับการเปิดตัวอินเทอร์เน็ตสาธารณะหรือคลาวด์คอมพิวติ้ง นั่นเป็นความจริงก่อนเดือนพฤศจิกายน 2022 และยังคงเป็นจริงจนถึงทุกวันนี้

ในฐานะนักลงทุน ฉันรู้สึกตื่นเต้นอย่างมากกับนวัตกรรมใน MLOps และแอปพลิเคชันใหม่ๆ ของระบบอัจฉริยะของเครื่องจักร หากคุณกำลังสร้างบางอย่างในพื้นที่นี้ ฉันชอบที่จะได้ยินจากคุณ คุณสามารถหาฉันได้ที่LinkedIn หรือที่[email protected]