จะกำหนดจำนวนเลเยอร์ที่ซ่อนอยู่และหน่วยของตัวเข้ารหัสอัตโนมัติแบบลึกได้อย่างไร
ฉันใช้ตัวเข้ารหัสอัตโนมัติแบบลึกสำหรับปัญหาของฉัน อย่างไรก็ตามวิธีที่ฉันเลือกจำนวนเลเยอร์ที่ซ่อนอยู่และยูนิตที่ซ่อนอยู่ในเลเยอร์ที่ซ่อนอยู่นั้นยังคงขึ้นอยู่กับความรู้สึกของฉัน
ขนาดของโมเดลที่ระบุจำนวนเลเยอร์และหน่วยที่ซ่อนอยู่ไม่ควรมากเกินไปหรือน้อยเกินไปสำหรับโมเดลสามารถจับคุณสมบัติที่เป็นประโยชน์จากชุดข้อมูลได้
ดังนั้นฉันจะเลือกขนาดที่เหมาะสมของโมเดลตัวเข้ารหัสอัตโนมัติแบบลึกได้อย่างไรจึงจะดี
คำตอบ
คุณพูดถูก!
1- จำนวนเลเยอร์ที่ซ่อนอยู่ไม่ควรสูงเกินไป! เนื่องจากการไล่ระดับสีเมื่อจำนวนเลเยอร์มากเกินไปเอฟเฟกต์การไล่ระดับสีในเลเยอร์แรกจึงเล็กเกินไป! นี่คือเหตุผลที่นำเสนอโมเดล Resnet
2- จำนวนเลเยอร์ที่ซ่อนอยู่ไม่ควรน้อยเกินไปที่จะดึงคุณสมบัติที่ดีออกมา ได้รับการพิสูจน์แล้วว่าในเครือข่าย CNN เลเยอร์แรกดึงองค์ประกอบที่เรียบง่ายเช่นเส้นและเส้นโค้ง แต่เลเยอร์สุดท้ายจะดึงคุณสมบัติที่ซับซ้อนออกมา
3- จำนวนหน่วยที่ซ่อนอยู่เป็นพารามิเตอร์ที่มากเกินไปและโดยปกติคุณควรจะพบโดยการทดสอบหรือตามความรู้พื้นฐานของคุณ
แต่คุณทำอะไรได้บ้าง? เนื่องจากคุณสามารถทดสอบพารามิเตอร์ต่างๆและเปรียบเทียบผลลัพธ์ได้มีตัวเลือกอื่น ๆ อีกด้วย! ทางเลือกหนึ่งคือการค้นหาแบบกริดคุณสามารถตรวจสอบบทช่วยสอนนี้ได้https://towardsdatascience.com/grid-search-for-model-tuning-3319b259367e