เป็นเรื่องยากที่จะเพิกเฉยต่อพายุแห่งการกำเนิด AI เมื่อคุณเป็นส่วนหนึ่งของอุตสาหกรรมการพัฒนาเกม คุณสนใจที่จะใช้โครงข่ายประสาทเทียมอย่าง Stable Diffusion (SD) ในไปป์ไลน์สร้างสรรค์ของคุณหรือไม่? เป็นไปได้แน่นอน เพียง ตรวจสอบTwitter แต่เกม 3 มิติล่ะ? สามารถใช้ SD เป็นกล่องวิเศษเพื่อสร้างเนื้อหาเกม 3 มิติได้หรือไม่ AI เป็นจุดสิ้นสุดของศิลปิน 3 มิติของมนุษย์ในการพัฒนาเกมหรือไม่? ฉันได้ลองสร้างเกมกับมันแล้ว และคำตอบของฉันคือ — ยังไม่ใช่จริงๆ (ยัง) แต่ลองดูในรายละเอียดเพิ่มเติม

ผลกระทบของ AI ต่อการสร้างสินทรัพย์ 3 มิติ

เป็นไปไม่ได้ที่คนคนเดียวจะเชี่ยวชาญทุกส่วนของกระบวนการพัฒนาเกม กระบวนการสร้างแบบจำลอง 3 มิติมีความท้าทายมากเนื่องจากต้องใช้แรงงานและความเชี่ยวชาญหลายชั่วโมง แน่นอนว่าไม่ใช่ทุกเกมที่ต้องการโมเดล 3 มิติแบบโพลีสูงที่มีพื้นผิวที่สมจริงเกินจริง แต่เนื้อหาที่ดีในรูปแบบที่เหมาะสมมักจะทำให้เกมเสีย

จะเกิดอะไรขึ้นถ้าเรามีเครื่องมือที่สามารถเปลี่ยนข้อความเป็นเนื้อหา 3 มิติได้ อาจมีสถานการณ์ที่สร้างสรรค์มากมายสำหรับนักพัฒนาเกมอินดี้ที่ไม่มีงบประมาณ นี่อาจเป็นเครื่องมือที่มีประโยชน์สำหรับศิลปินมืออาชีพ เพิ่มประสิทธิภาพการทำงานและทำงานซ้ำๆ โดยอัตโนมัติ อัลกอริทึมเช่นนี้เริ่มปรากฏขึ้น

แต่มืออาชีพควรกังวลเกี่ยวกับการตกงานหรือไม่? ฉันนำเกมที่สร้างไว้ล่วงหน้าและแทนที่โมเดล 3 มิติทั้งหมดในนั้นด้วยเกมที่สร้างโดย AI ฉันสนุกกับมันและพบว่ามันสนุกและรวดเร็ว แต่ฉันไม่คิดว่ามันจะมาแทนที่ใครได้

นอกจากนี้ ฉันสนใจหัวข้อนี้เพราะฉันได้ออกจากบทบาท MLE ที่ Snap และเริ่มเรียนปริญญาเอก IGGIในสาขา AI และกราฟิก การจับภาพ 3 มิติและการสร้าง 3 มิติเป็นงานวิจัยที่ฉันสนใจ ดังนั้นฉันจึงตื่นเต้นกับความก้าวหน้าล่าสุดในสาขานี้ แต่ก็กังวลว่าจะตามทันได้อย่างไร ฉันคิดว่าอัลกอริทึมแบบนี้จะใช้ในการสร้างเนื้อหา 3 มิติและทำให้ง่ายขึ้น

DreamFusion ที่เสถียรสำหรับนักพัฒนาเกม

การแพร่กระจายที่เสถียรถูกนำมาใช้ในหลาย ๆ ฟิลด์ที่เกี่ยวข้องกับการสร้างเนื้อหา Game Dev นั้นไม่มีข้อยกเว้น คุณสามารถสร้างเนื้อหาเกม 2D แยกจากกัน ได้ง่ายๆ หรือแม้แต่สร้างเกมทั้งเกมจากรูปภาพที่สร้างขึ้น ผู้คนใช้ SD ใน การสร้าง คอนเซ็ปอาร์ตที่รวดเร็วและหากคุณรู้พื้นฐานของ Blender ก็สามารถสร้างเนื้อหา 3 มิติจากมัน ได้ด้วยตนเอง ในเดือนที่ผ่านมา มีความเป็นไปได้ที่จะสร้างโมเดล 3 มิติจากข้อความ

ก่อนหน้านี้ การสร้าง 3 มิติพื้นฐานจากข้อความมีอยู่จริง แต่แนวคิดเก่ารวมกับโมเดลการแพร่กระจายจะให้ผลลัพธ์ที่ดีกว่ามาก งานแรกที่รวมการเรนเดอร์ประสาทเป็นการแสดงฉาก (NeRF) กับฟังก์ชัน Stable Diffusion เป็นฟังก์ชันการสูญเสียคือDreamFusionจาก Google Research Nvidia เผยแพร่การปรับปรุงแนวคิดนี้ในอีกหนึ่งเดือนต่อมาเรียกว่าMagic3D มีความละเอียดสูงกว่าและเร็วกว่า น่าเสียดายที่ทั้งสองบริษัทไม่ได้เปิดเผยรหัสหรือโมเดลของตน

แต่ต้องขอบคุณโอเพ่นซอร์ส (และโดยเฉพาะKiui ) เราสามารถใช้เทคโนโลยีระดับเดียวกันได้ — Stable DreamFusionแม้ว่าจะมีคุณภาพการสร้างที่น้อยกว่าเล็กน้อยก็ตาม แนวคิดหลักของ DreamFusion คือการใช้โมเดลการแพร่กระจายข้อความเป็นรูปภาพแบบ 2 มิติที่ฝึกไว้ล่วงหน้าเพื่อทำให้ข้อความเป็นแบบ 3 มิติ พวกเขาประสบความสำเร็จในรูปแบบซ้ำ ๆ โดยเริ่มจากปริมาณสุ่ม (แสดงเป็น NeRF) ความแตกต่างที่ใหญ่ที่สุดระหว่างการใช้งานโอเพ่นซอร์สกับกระดาษคือ SD ถูกใช้แทน Imagen (โมเดลภายในของ Google)

Bee Simulator: กรณีศึกษาการใช้ AI เพื่อสร้างสินทรัพย์ 3 มิติ

ในฐานะส่วนหนึ่งของโมดูลการฝึกอบรม Game Dev IGGI ฉันได้สร้างเกม "Bee Simulator" แบบง่ายๆ ความสนุกหลักของเกมนี้มาจากการควบคุมที่ซับซ้อน คล้ายกับภารกิจเฮลิคอปเตอร์จาก GTA Olya ภรรยาของฉันกำลังเรียนรู้การสร้างแบบจำลอง 3 มิติ และเธอตกลงที่จะสร้างเนื้อหา 3 มิติสำหรับผึ้งและตัวต่อ สินทรัพย์อื่นๆ มาจากร้าน Unity เกมต้นฉบับสามารถพบได้ที่นี่

ตอนนี้ สมมติว่าเราไม่ต้องการศิลปิน 3D อีกต่อไป (ฉันไม่อยากทำให้ภรรยากลัว) เพราะเรามี Stable DreamFusion Olya ทำสองนางแบบในหนึ่งวัน ฉันให้เวลาตัวเองเท่ากันในการแทนที่ทรัพย์สินทั้งหมดด้วยทรัพย์สินที่สร้างโดย AI เวลาส่วนใหญ่หมดไปกับการเล่นข้อความ

รายละเอียดทางเทคนิค

ฉันใช้ชุดไฮเปอร์พารามิเตอร์เริ่มต้นและเปลี่ยนเฉพาะอัตราการเรียนรู้และจำนวนการวนซ้ำ นั่นทำให้โมเดลแบบรวมใน 30 นาที (ซึ่งยังคงช้ากว่าลำดับความสำคัญสำหรับ 2D) โดยใช้ RTX 3080 16 GB สำหรับวัตถุสุดท้ายแต่ละชิ้น ฉันใช้เวลา 4-5 ครั้งในการเลือกข้อความที่ดีที่สุด คำแนะนำสุดท้ายคือ:

• ผึ้ง — “ภาพเวกเตอร์การ์ตูนผึ้งน่ารัก”;
• ตัวต่อ — “การ์ตูนแตนผึ้งตัวต่อโกรธ”;
• ดอกไม้ — “การ์ตูนดอกไม้ฤดูใบไม้ผลิที่เรียบง่าย”;
• ร็อค — “ภาพเวกเตอร์หินหินในแบบแบนๆ”;
• ต้นไม้ — “ต้นไม้สีเขียวการ์ตูน 3 มิติ”

สำหรับใครที่สนใจ ฉัน ได้อัปโหลดโมเดลตัวต่อไปยังSketchfab

อนาคตของศิลปะ 3 มิติ

คุณสามารถดูวิดีโอเกมเพลย์แบบเต็มของเกมสุดท้ายได้ที่นี่

ในระยะเวลาอันใกล้นี้ ฉันมั่นใจว่าศิลปิน 3D มือใหม่สามารถสร้างแบบจำลองได้ดีกว่าและเร็วกว่าผู้ที่สามารถเข้าถึง GPU และ GitHub ได้ แต่หวังว่าในชีวิตจริงจะไม่ใช่การแข่งขันระหว่างศิลปินกับเครื่องจักร และผู้คนจะปรับตัวให้เข้ากับการใช้งานของมัน เหมือนที่เคยทำกับเทคโนโลยีอื่นๆ (การอภิปรายที่ยอดเยี่ยมระหว่างศิลปินสองคนในDA ) ฉันคิดว่าในตอนแรกศิลปิน 3 มิติจะใช้มันเพื่อสร้างต้นแบบ นักพัฒนาอิสระอาจสนุกกับโมเดล 3 มิติง่ายๆ โดยไม่ต้องมีศิลปิน ยังไม่ใช่ แต่หลังจากการเปิดตัวเทคโนโลยีคุณภาพระดับเทียบเท่ากับ Magic3D สู่สาธารณะ และในที่สุด เครื่องมือ AI อาจกลายเป็นเครื่องมือที่จำเป็นสำหรับศิลปิน ซึ่งจำเป็นใน CV ของพวกเขา ทุกอย่างเสร็จสิ้นเมื่อเปิดกล่อง

ฉันเล่นกับการสร้างภาพ AI (SD, DALLE2) บ่อยมาก และสงสัยว่ามันจะมาแทนที่ศิลปิน “ศิลปิน” ที่ฉันหมายถึงคือคนที่มีความคิดสร้างสรรค์ที่มีความรู้และรสนิยม โดยไม่คำนึงถึงทักษะทางเทคนิค ฉันวาดรูปแย่มาก และเครื่องมือสร้างสรรค์ก็ไม่ได้ช่วยอะไรฉันเลย ฉันมีช่วงเวลาที่ยากลำบากในการถามคำถามที่มีความหมายกับตัวแบบ และรุ่นของฉันก็น่าเบื่อ ในขณะเดียวกัน ศิลปินที่เชี่ยวชาญเครื่องมือเปลี่ยนข้อความเป็นรูปภาพได้ใส่บุคลิกของตนลงในผลงานอยู่แล้ว ฉันคิดว่าสถานการณ์เดียวกันนี้จะเกิดขึ้นกับการสร้างเนื้อหา 3 มิติ

ข้อยกเว้นในความคิดของฉันคือเมื่อพูดถึงการสร้างแบบจำลอง 3 มิติ ซึ่งขึ้นอยู่กับการอ้างอิงของศิลปินคนอื่นอย่างเคร่งครัด ฉันไม่ได้มองโลกในแง่ดีเกี่ยวกับอนาคตของศิลปิน 3 มิติที่ทำแบบนั้น หากงานของคุณมุ่งเน้นไปที่การสร้างแบบจำลองและการจัดพื้นผิววัตถุจากข้อมูลอ้างอิงเพียงอย่างเดียว คุณอาจตกงาน ( ดูส่วน "ความสามารถในการแก้ไขอื่นๆ" ของ Magic3D) ฉันแน่ใจว่าศิลปิน 3 มิติทำได้มากกว่านั้น ถ้าฉันเริ่มต้นจากการเป็นศิลปิน 3 มิติ ฉันอยากจะได้รับความรู้ที่กว้างที่สุดเท่าที่จะเป็นไปได้เกี่ยวกับทุกแง่มุมของท่อส่งภาพ — การสร้างแบบจำลอง เสื้อผ้า เสื้อผ้า แอนิเมชัน การจัดแสง และแน่นอน เครื่องมือเจเนอเรทีฟ AI

ไม่ว่าคุณจะเป็นนักพัฒนาเกมอินดี้หรือศิลปิน 3D การรวม AI เข้ากับเวิร์กโฟลว์ของคุณจะช่วยให้คุณค้นพบความเป็นไปได้ในการสร้างสรรค์ใหม่ๆ แต่ด้วยโมเดล text-to-3D ที่มีอยู่ในปัจจุบัน มันยังใช้งานไม่ได้

คุณสามารถเชื่อมต่อกับฉันบนTwitter