สนับสนุน Vector Machine Convert optimization problem จาก argmax เป็น argmin

Question

ฉันยังใหม่กับ AI Stackexchange และไม่แน่ใจว่าควรไปที่นี่หรือไปที่ Maths แทน แต่คิดว่าบริบทของ ML อาจเป็นประโยชน์ในการทำความเข้าใจปัญหาของฉัน ฉันหวังว่าการโพสต์คำถามนี้ที่นี่จะช่วยให้นักเรียนคนอื่นเรียนรู้เกี่ยวกับ Support Vector Machines ได้สักวัน

ตอนนี้ฉันกำลังเรียนรู้เกี่ยวกับ Support Vector Machines ที่มหาวิทยาลัยและเจอขั้นตอนแปลก ๆ ที่ฉันไม่เข้าใจ เรากำลังพูดถึง SVM พื้นฐานและกำหนดปัญหาการเพิ่มประสิทธิภาพ$\max_{w,b} \{ \frac{1}{||w||} \min_n(y^{(n)}f(x^{(n)}))\}$ ซึ่งเราก็ทำให้ง่ายขึ้น $\max_{w,b} \{ \frac{1}{||w||}\}$ โดยการแนะนำ $\kappa$ เป็นปัจจัยในการปรับขนาดสำหรับ $w$ และ $b$ตามขอบของ SVM ตอนนี้วิทยากรของเราแปลงโดยไม่มีคำอธิบายเป็นปัญหาการเพิ่มประสิทธิภาพกำลังสองเป็น$\min_{w,b}\{\frac{1}{2} ||w||^2\}$ซึ่งฉันไม่สามารถอธิบายตัวเองได้ ฉันหวังว่าใครบางคนที่มีบริบทสามารถช่วยฉันได้ว่าสิ่งนี้เป็นไปได้อย่างไรและมีคณิตศาสตร์หรือเคล็ดลับอะไรอยู่เบื้องหลังแนวทางนี้

---

ข้อมูลสัญกรณ์:

• $w$ - เมทริกซ์น้ำหนัก
• $b$ - อคติ (บางครั้งแสดง $w_0$ ฉันเชื่อ?)
• $x^{(n)}$ - ตัวแปรอิสระ (เวกเตอร์)
• $y^{(n)}$ - ตัวแปรตาม (สเกลาร์จำแนกอินพุตในการจำแนกไบนารีเป็น $y=1$ หรือ $y=-1$)

ขอบคุณมาก!

Answer 1

จริงๆแล้วฉันจัดการให้อาจารย์ของฉันอธิบายการแปลง argmax เป็น argmin ได้

โดยทั่วไปแล้วการเพิ่มสูงสุด $\frac{1}{||w||}$ เหมือนกับการย่อขนาด $||w||$. เช่น$||w||$ ใน $\frac{1}{||w||}$ลดลงมูลค่าโดยรวมเพิ่มขึ้นกล่าวคือเราเพิ่มให้สูงสุด เหตุผลในการเลือก$\frac{1}{2}||w||^2$ กลายเป็นวิธีการทางคณิตศาสตร์ที่น้อยลงและใช้งานได้จริงเนื่องจากอัลกอริทึมการเพิ่มประสิทธิภาพของเราที่ใช้ทำงานได้ดีกว่ากับฟังก์ชันกำลังสอง $\frac{1}{2}$ ดูเหมือนจะเป็นตัวเลือกการปรับขนาดโดยพลการ

ถ้าใครมีอะไรจะเพิ่มเติมก็ยินดีรับฟังรายละเอียดนะคะ!