ในบล็อกนี้ ฉันจะทบทวนกระบวนการใช้ Reinforcement Learning (RL) เพื่อสร้างและปรับปรุงโมเดลภาษาขนาดใหญ่ เช่น ChatGPT จากนั้นฉันจะแสดงวิธีที่ OpenAI และ Microsoft สามารถใช้ RL เพื่อป้องกันไม่ให้คู่แข่งแข่งขันกับพวกเขาในตลาด AI เชิงกำเนิด ฉันจะแนะนำกลยุทธ์สำหรับสตาร์ทอัพใหม่เพื่อโจมตีป้อมปราการ อันดับแรก เรามาทบทวนความหมายของคำว่า "คูน้ำ" ที่ป้องกันไม่ให้ผู้โจมตีเข้าถึงปราสาท ChatGPT

ความเป็นมาเกี่ยวกับแบบจำลองกองกำลังทั้งห้าของพอร์เตอร์

ในปี พ.ศ. 2522 ไมเคิล พอร์เตอร์ได้เผยแพร่บทความเกี่ยวกับการวิเคราะห์ลักษณะการแข่งขันของอุตสาหกรรม ตอนนี้เราเรียกกระบวนการนี้ว่าPorter's Five Forces Analysis เราสามารถใช้แผนภาพด้านล่างเพื่อแสดงภาพชุดของจุดกดดันในตลาดใดก็ตาม

OpenAI เรียกเก็บเงินเล็กน้อย$20/เดือนสำหรับการเข้าถึง ChatGPT ระดับพรีเมียม นอกจากนี้ยังมีเวอร์ชันฟรีที่มีผู้ใช้มากกว่า 100 ล้านคน OpenAI ใช้ผู้ใช้เหล่านี้เป็นวิธีการรับข้อเสนอแนะและทำให้โมเดลของพวกเขาดีขึ้น

เมื่อเราพิจารณา ChatGPT อย่างเป็นกลาง จะไม่มีเครื่องมืออื่นใดที่เผยแพร่สู่สาธารณะได้ใกล้เคียงกับความสามารถของมัน แม้ว่าส่วนต่อประสานกับผู้ใช้จะเป็นแบบดั้งเดิม แต่คุณภาพของข้อความที่สร้างขึ้นนั้นน่าทึ่งเมื่อเทียบกับคู่แข่ง นี่เป็นรุ่นเดียวที่ใช้งานทั่วไปและมีการใช้งานที่แตกต่างกันมากมาย

ตอนนี้ เราสามารถใส่ OpenAI ไว้ในแวดวง AI กำเนิดด้านบนเท่านั้น แต่สิ่งนี้จะเปลี่ยนไป และเราจะเข้าใจว่าทำไม Microsoft ถึงลงทุน $10B ใน OpenAI

สำหรับการวิเคราะห์นี้ เราจะไม่สนใจอำนาจต่อรองของผู้ซื้อเนื่องจากไม่มีการแข่งขัน อำนาจต่อรองของซัพพลายเออร์คือฮาร์ดแวร์ NIVIDA GPU ภายใน Microsoft Azure และนักพัฒนาซอฟต์แวร์ภายใน OpenAI สิ่งเหล่านี้ไม่สามารถละเลยได้ในระยะยาว แต่ตอนนี้มีเงินมากพอที่จะซื้อทั้งฮาร์ดแวร์และจ่ายเงินให้นักพัฒนา OpenAI นั่นทำให้เราต้องพิจารณาปัจจัยหนึ่ง: ภัยคุกคามของผู้เข้ามาใหม่ มีภัยคุกคามจากสิ่งทดแทนสำหรับ ChatGPT เช่น การใช้เครื่องมือค้นหาหรือการอ่านหนังสือเพื่อค้นหาข้อมูล ไม่มีตัวเลือกใดที่น่าสนใจ

ภัยคุกคามของผู้เข้ามาใหม่

เมื่อดูแผนภาพด้าน บนกองกำลังสูงสุดเรียกว่าภัยคุกคามของผู้เข้ามาใหม่ ประกอบด้วยบริษัทเทคโนโลยีขนาดใหญ่รายอื่น ๆ ที่มีส่วนร่วมในโมเดลภาษาขนาดใหญ่อยู่แล้ว ซึ่งรวมถึง:

1. Google — ผู้มีความรู้เกี่ยวกับการค้นหาและข้อเสนอแนะเพื่อสร้างโมเดลใหม่
2. Amazon — มีทีมงานจำนวนมากที่ทำงานเกี่ยวกับแมชชีนเลิร์นนิงเพื่อส่งเสริมบริการคลาวด์ของตนเพื่อฝึกโมเดลภาษาขนาดใหญ่
3. Meta — ที่ซึ่ง Facebook รวบรวมข้อเท็จจริงประมาณ 50,000 รายการเกี่ยวกับผู้ใช้ ซึ่งสามารถใช้คาดการณ์โดยละเอียดเกี่ยวกับโฆษณาที่พวกเขาอาจคลิก
4. HuggingFace — ทำให้นักพัฒนาเข้าถึงโมเดล 100K ได้ง่ายและปรับแต่งอย่างละเอียดโดยใช้แอปพลิเคชัน Spaces ที่ง่ายและรวดเร็ว

OpenAI เป็นผู้นำที่สำคัญ OpenAI เผยแพร่เอกสาร GPT เป็นครั้งแรกเมื่อวันที่ 11 มิถุนายน 2018 ซึ่งติดตามผลในวันที่ 14 กุมภาพันธ์ 2019ด้วย GPT-2 ซึ่งมีพารามิเตอร์ 1.5 พันล้านพารามิเตอร์ ตามมาด้วย GPT-3 ที่ทำลายสถิติในวันที่ 11 มิถุนายน 2020 ซึ่งเพิ่มสูงขึ้นถึง 175 พันล้านพารามิเตอร์อย่างไม่น่าเชื่อ ผลลัพธ์เหล่านี้น่าประทับใจเพราะคุณภาพของข้อความที่ GPT-3 สร้างขึ้นนั้นยอดเยี่ยมมาก แต่ OpenAI ไม่ได้ช้าลง พวกเขาเพิ่มโมเดลที่ปรับแต่งโมเดล GPT-3 พื้นฐานอย่างละเอียดพร้อมการตรวจจับความตั้งใจในการสอนที่ดีขึ้น และยังรวมโมเดลอื่นที่ได้รับการฝึกฝนบนซอฟต์แวร์ที่เรียกว่า Codex

เมื่อใดก็ตามที่ผู้ใช้ยกนิ้วให้หรือยกนิ้วให้ จะมีข้อมูลเพิ่มเติมสำหรับโมเดลของ OpenAI ที่ต้องปรับปรุง หลังจากทำงานทั้งหมดนี้ พวกเขาใช้เลเยอร์ซอฟต์แวร์อีกชั้นหนึ่งที่เรียกว่า Reinforcement Learning with Human Feedback หรือ RLHF RLHF ยังคงใช้อยู่ในปัจจุบันสำหรับผู้ใช้ 100 ล้านคนเหล่านั้น

อุปสรรคสามประการในการเข้าสู่ผู้ช่วยทางปัญญา

ต่อไปนี้คือปัจจัยหลัก 3 ประการที่ทำให้ผู้เข้าร่วมรายใหม่ไม่เข้าร่วมการต่อสู้กับ ChatGPT

1. AI Talent — คุณมีพนักงานที่ชื่นชม NLP และโมเดลภาษาขนาดใหญ่หรือไม่? พวกเขามีความเข้าใจอย่างมากเกี่ยวกับการแสดงความรู้ของข้อมูลองค์กรของคุณหรือไม่? องค์กรของคุณสามารถจ้างและรักษาความสามารถนี้ไว้ในอุตสาหกรรมที่ร้อนระอุได้หรือไม่?
2. ต้นทุนฮาร์ดแวร์การฝึกอบรม — องค์กรของคุณมีสิทธิ์เข้าถึง GPU/TPU/IPU หรือ HBU หลายพันรายการเพื่อฝึกอบรมและปรับแต่งโมเดลภาษาขนาดใหญ่หรือไม่?
3. ข้อเสนอแนะ — คุณมีผู้ใช้หลายแสนคนที่ยินดีให้ข้อเสนอแนะหรือไม่? OpenAI มีผู้ใช้มากกว่า 100 ล้านคนในปัจจุบัน และคาดว่าจำนวนนี้จะเพิ่มขึ้นเมื่อพวกเขาปรับแต่งโมเดลด้วยความคิดเห็นนี้

ใช้การคิดเชิงระบบบางอย่าง

เมื่อเราใช้หลักการของการคิดเชิงระบบกับปัญหานี้ เราจะเห็น Causal Loop Diagram (CLD) ที่มีวัฏจักรการเสริมแรงเชิงบวก ดูเหมือนว่าต่อไปนี้:

CLD ขนาดเล็กนี้สามารถอธิบายได้โดยการอธิบายความสัมพันธ์:

1. Data to Model — เราใช้ข้อมูลเพื่อสร้างโหมดแมชชีนเลิร์นนิง
2. Model to Prediction — เราใช้โมเดลแมชชีนเลิร์นนิงเพื่อทำนายอนาคตตามความรู้เดิม..
3. การคาดการณ์ เปิดใช้งานคำติชม — เมื่อเราสามารถคาดการณ์ได้ดีพอสมควร มนุษย์จะให้ข้อเสนอแนะแก่เรา
4. คำติชมคือข้อมูล — เราสามารถใช้คำติชมเป็นข้อมูลใหม่เพื่อปรับปรุงโมเดลของเรา

คุณสามารถหาข้อมูลเพิ่มเติมเกี่ยวกับบทบาทของการคิดเชิงระบบได้จากบล็อกเกี่ยวกับThe God Graphและการคิดเชิงระบบเพื่อการจัดการความรู้

มู่เล่ AI พร้อมคำติชมของมนุษย์

รูปภาพด้านบนคือ "AI Flywheel" แบบคลาสสิกที่อธิบายวิธีที่องค์กรรวบรวมข้อมูล สร้างแบบจำลองการคาดการณ์ คาดการณ์ และใช้ความคิดเห็นจากมนุษย์เพื่อรวบรวมข้อมูลเพิ่มเติมเพื่อให้คาดการณ์ได้ดีขึ้น ฉันใช้แบบจำลองนี้ในเกือบทุกหลักสูตร KR และ AI ที่ฉันสอนเพราะเป็นพื้นฐานในการทำความเข้าใจว่าบริษัทต่างๆ จะใช้คำติชมเพื่อสร้างผู้ช่วยทางปัญญาใหม่อย่างไร

ฉันได้แก้ไขลูป 4 คอมโพเนนต์ที่เรียบง่ายแบบดั้งเดิม (ข้อมูล แบบจำลอง การทำนาย คำติชม) เพื่อรวมรายละเอียดเพิ่มเติมเล็กน้อย มีคุณสมบัติที่สำคัญสองประการของไดอะแกรมที่เราต้องการเน้น

อันดับแรก เราต้องการให้แน่ใจว่าทุกคนเข้าใจว่าคำติชมนั้นขึ้นอยู่กับบริบท คุณไม่เพียงแต่ต้องการทราบว่าคำติชมนั้นมาจากมนุษย์ แต่คุณต้องการทราบบริบทของบุคคลนี้ในสภาพแวดล้อมของพวกเขาด้วย หากนี่คือข้อเสนอแนะสำหรับคำแนะนำในการเขียนโค้ด คุณต้องการทราบว่านี่เป็นนักพัฒนาอาวุโสหรือรุ่นเยาว์ หากเป็นข้อเสนอแนะเกี่ยวกับจดหมายที่สร้างขึ้น คุณต้องการทราบว่าผู้อ่านเป็นผู้เชี่ยวชาญเฉพาะเรื่องหรือมือใหม่ บริบทคือทุกสิ่ง ดังนั้นหากคุณไม่ใช้กราฟความรู้ แสดงว่าคุณกำลังทิ้งข้อมูลส่วนใหญ่เกี่ยวกับบุคคลที่ให้ข้อเสนอแนะแก่คุณ

ประการที่สองคือการเข้าใจว่าคุณจะไม่รวบรวมข้อมูลจากมนุษย์เว้นแต่คุณจะให้คุณค่าแก่พวกเขา ซึ่งหมายความว่าหากคำแนะนำอย่างน้อย 1/3 ของคุณไม่ถูกต้อง ผู้ใช้จะปิดใช้คำแนะนำของคุณ พวกมันน่ารำคาญมากกว่าคุ้มเสียอีก นี่เป็นเหตุผลว่าทำไมหากโมเดลการคาดการณ์ของคุณไม่ได้อยู่ที่ 1/3 ของคัตออฟ คุณอาจต้องจ่ายเงินให้ผู้ใช้เพื่อให้ข้อเสนอแนะแก่คุณ นี่คือสิ่งที่บริษัทอย่าง OpenAI ต้องทำก่อนที่จะเปิดตัวผลิตภัณฑ์ เมื่อผู้คนเริ่มใช้งาน (ฟรี) กระแสความคิดเห็นก็เริ่มหลั่งไหลเข้ามา และด้วยการคลิกแต่ละครั้ง คูน้ำรอบๆ ChatGPT ก็จะกว้างขึ้น

บทสรุป

โดยสรุป ข้อมูลป้อนกลับและการเรียนรู้เสริมทำให้เกิดผลกระทบต่อเครือข่ายซึ่งจะทำให้ไม่สามารถแข่งขันกับตลาดทั่วไปที่ขับเคลื่อนด้วย ChatGPT สำหรับผู้ช่วยทางปัญญาทั่วไป หากคุณเป็นบริษัทขนาดเล็ก คุณอาจไม่มีทรัพยากรที่จะแข่งขันในด้านนี้ ซึ่งยังคงเหลือโอกาสมากมายสำหรับบริษัทขนาดเล็กในการสร้างผู้ช่วยรู้คิดที่ทำงานในสาขาแคบๆ ด้วยการเข้าถึงข้อมูลเฉพาะทางและอาสาสมัครเพื่อช่วยปรับการคาดการณ์ ประการสุดท้าย สตาร์ทอัพขนาดเล็กควรพิจารณาระบบการออกใบอนุญาต เช่น โมเดล GPT-3 davinci ของ OpenAI และรวมเข้ากับผลิตภัณฑ์