Support Vector Machine Konvertiert Optimierungsproblem von argmax in argmin

Question

Ich bin neu im AI Stackexchange und war mir nicht sicher, ob dies hier oder stattdessen in Mathe geschehen sollte, dachte aber, dass der Kontext mit ML nützlich sein könnte, um mein Problem zu verstehen. Ich hoffe, dass das Posten dieser Frage hier einem anderen Schüler helfen kann, eines Tages etwas über Support Vector Machines zu lernen.

Ich lerne gerade an der Universität etwas über Support Vector Machines und bin auf einen seltsamen Schritt gestoßen, den ich nicht verstehen konnte. Wir haben über grundlegende SVMs gesprochen und das Optimierungsproblem formuliert$\max_{w,b} \{ \frac{1}{||w||} \min_n(y^{(n)}f(x^{(n)}))\}$ was wir dann vereinfacht haben $\max_{w,b} \{ \frac{1}{||w||}\}$ durch Einführung $\kappa$ als Skalierungsfaktor für $w$ und $b$nach dem Rand der SVM. Jetzt hat unser Dozent es ohne Erklärung in ein quadratisches Optimierungsproblem umgewandelt$\min_{w,b}\{\frac{1}{2} ||w||^2\}$was ich mir nicht erklären konnte. Ich hoffe, jemand mit Kontext kann mir helfen, wie dies möglich ist und welche Mathematik oder welcher Trick steckt hinter diesem Ansatz?

---

Notationsinformationen:

• $w$ - Gewichtsmatrix
• $b$ - Voreingenommenheit (manchmal bezeichnet $w_0$ Ich glaube?)
• $x^{(n)}$ - Unabhängige Variable (Vektor)
• $y^{(n)}$ - Abhängige Variable (skalare Klassifizierung der Eingabe in einer binären Klassifizierung als $y=1$ oder $y=-1$)

Vielen Dank!

Answer 1

Also habe ich es tatsächlich geschafft, meinen Dozenten zu erreichen, um die Umwandlung von Argmax in Argmin zu erklären.

Generell maximieren $\frac{1}{||w||}$ ist identisch mit dem Minimieren $||w||$. Wie$||w||$ im $\frac{1}{||w||}$nimmt ab, der Gesamtwert steigt, dh wir maximieren ihn. Der Grund für die Wahl$\frac{1}{2}||w||^2$ stellt sich als weniger mathematisch und praktischer heraus, da unsere verwendeten Optimierungsalgorithmen bei quadratischen Funktionen und der besser abschneiden $\frac{1}{2}$ scheint eine eher willkürliche Skalierungswahl zu sein.

Wenn jemand etwas hinzuzufügen hat, würde ich gerne Details hören!