Regularización de crestas: intuición detrás $\lambda$

Question

He visto muchas preguntas similares y entiendo que $\lambda$es una especie de parámetro de ajuste que decide cuánto queremos penalizar la flexibilidad de nuestro modelo. En otras palabras$\lambda$ nos ayuda a decidir qué tanto queremos un ajuste perfecto y cuánto sesgo estamos dispuestos a aceptar para obtener una función atractiva, ¿verdad?

Pero me gustaría comprender el comportamiento de nuestro modelo a medida que aumentamos el parámetro de ajuste. por$\lambda = 0$todo lo que nos importa es el ajuste. Obtenemos un ajuste de mínimos cuadrados. Como el$\lambda$aumenta, el modelo se vuelve cada vez menos "puntiagudo". No crece a valores altos muy rápido solo para volver a bajar pronto. Se vuelve cada vez más suave.

Y ahora, finalmente, cuando lambda se vuelve arbitrariamente grande, $\lambda \rightarrow +\infty$, la penalización es muy grande y los coeficientes se acercarán a cero. ¿Significa eso (desde el punto de vista gráfico) que como$\lambda$ crece se vuelve más y más suave hasta que se vuelve "casi" plano y finalmente una línea horizontal $y=0$? ¿O me estoy perdiendo algo?

Answer 1

Tu comprensión es correcta.

Queremos solucionar el problema de

$$\min_\beta \|y-X\beta\|^2 + \lambda \|\beta\|^2$$

Como podemos ver, cuando $\lambda=0$, la función objetivo se reduce a mínimos cuadrados ordinarios.

Cuando aumentamos $\lambda$, cada vez se ponen más pesos en la pieza para penalizar a grandes $\|\beta\|$ y por lo tanto podríamos sacrificar un poco la aptitud.

Como $\lambda \to \infty$, la prioridad es hacer $\beta$ ser cero para evitar un gran valor objetivo, y por lo tanto $\beta \to 0$.