Minimizzazione della funzione di perdita in SVM soft-margin

Question

Secondo Wikipedia , l'obiettivo del soft-margin SVM è ridurre al minimo la funzione di perdita della cerniera:

$$\left[\frac{1}{n} \sum_{i=1}^{n} \max \left(0,1-y_{i}\left(\vec{w} \cdot \vec{x}_{i}-b\right)\right)\right]+\lambda\|\vec{w}\|^{2}$$

Potresti dirmi di più perché aggiungiamo $\lambda$? Qual è il suo effetto sulla minimizzazione?

Answer 1

L'obiettivo di $\lambda$in quell'equazione serve come termine di regolarizzazione (aiutando a evitare l' overfitting ) che determina l'importanza relativa di minimizzare$\Vert w \Vert^2$ rispetto al minimo $\frac{1}{n}\sum_{i=1}^n\max(0, 1-y_i(w\cdot x_i - b))$.

Riducendo al minimo $\frac{1}{n}\sum_{i=1}^n\max(0, 1-y_i(w\cdot x_i - b))$non vediamo l'ora di separare correttamente i dati e con un margine funzionale $\geq 1$, altrimenti la funzione di costo aumenterà. Ma minimizzare solo questo termine può portarci a risultati indesiderati .

Questo perché per separare correttamente i campioni, l'SVM potrebbe sovradimensionare il set di dati. Questo di solito porta a valori più alti di$\Vert w \Vert^2$a causa della crescente complessità necessaria per adattare correttamente l'intero set di dati.

Per evitare ciò, aggiungiamo un termine di regolarizzazione $\rightarrow \lambda\Vert w \Vert^2$. In questo modo, non solo penalizziamo il fatto che il margine funzionale sia$<1$, ma anche valori elevati di $\Vert w \Vert^2$.

Tuttavia, non dobbiamo minimizzare $\Vert w \Vert^2$ indefinitamente, perché così facendo stiamo riducendo la capacità dell'SVM di adattare i dati $\rightarrow$ potremmo ritrovarci con il problema opposto rispetto a prima, cioè sottoadattamento del set di dati.

Quindi, per riassumere, un buon equilibrio tra minimizzare$\frac{1}{n}\sum_{i=1}^n\max(0, 1-y_i(w\cdot x_i - b))$ e minimizzando $\Vert w \Vert^2$ deve essere soddisfatto e questo è il motivo $\lambda$ viene usato.