Régularisation des crêtes - intuition derrière $\lambda$

Question

J'ai vu de nombreuses questions similaires et je comprends que $\lambda$est une sorte de paramètre de réglage qui décide à quel point nous voulons pénaliser la flexibilité de notre modèle. En d'autres termes$\lambda$ nous aide à décider à quel point nous voulons un ajustement parfait et quel biais sommes-nous prêts à accepter pour obtenir une fonction agréable, non?

Mais j'aimerais comprendre le comportement de notre modèle lorsque nous augmentons le paramètre de réglage. Pour$\lambda = 0$tout ce qui nous importe, c'est l'ajustement. Nous obtenons l'ajustement des moindres carrés. Comme le$\lambda$augmente, le modèle devient de moins en moins "piquant". Il n'atteint pas très rapidement des valeurs élevées pour redescendre bientôt. Cela devient de plus en plus lisse.

Et maintenant enfin, quand lambda devient arbitraire, $\lambda \rightarrow +\infty$, la pénalité est très importante et les coefficients approcheront de zéro. Cela signifie-t-il (du point de vue graphique) qu'en tant que$\lambda$ grandit, il devient plus lisse et plus lisse jusqu'à ce qu'il devienne "presque" plat et finalement une ligne horizontale $y=0$? Ou est-ce que je manque quelque chose?

Answer 1

Votre compréhension est juste.

Nous voulons résoudre le problème de

$$\min_\beta \|y-X\beta\|^2 + \lambda \|\beta\|^2$$

Comme nous pouvons le voir, quand $\lambda=0$, la fonction objectif se réduit aux moindres carrés ordinaires.

Quand on augmente $\lambda$, de plus en plus de poids sont mis à la partie pour pénaliser $\|\beta\|$ et par conséquent, nous pourrions sacrifier un peu la forme physique.

Comme $\lambda \to \infty$, la priorité est de faire $\beta$ être nul pour éviter une grande valeur objective, et donc $\beta \to 0$.