Comprender la 'agresividad' del lazo, la selección progresiva hacia adelante y la mejor selección de subconjuntos en Hastie, T., Tibshirani, R. y Tibshirani, RJ (2017)
Hastie y col. (2017) explican cómo se comportan los métodos mencionados anteriormente en función de la relación señal / ruido (SNR) con su "agresividad" variable. Ahora no entiendo por qué los diferentes métodos varían en su agresividad (¿es decir, la cantidad de predictores que incluyen en el modelo final?) Y cómo esto se relaciona con la SNR. Creo que entiendo la compensación de sesgo-varianza y cómo se relaciona con un mejor rendimiento del lazo en algunos escenarios, pero los autores dan explicaciones adicionales que no entiendo.
En su explicación, los autores escriben que
"los valores ajustados del lazo (para cualquier $\lambda \geq 0$) son funciones continuas de y (Zou et al., 2007; Tibshirani y Taylor, 2012), mientras que los valores ajustados de la selección por pasos hacia adelante y el mejor subconjunto (para $k \geq 1$) saltan de forma discontinua a medida que y se mueve a través de un límite de decisión para el conjunto activo "(p. 3)
¿Podría alguien aclararme qué es el 'límite de decisión' y qué se entiende por conjunto activo (el conjunto de predictores seleccionados?). Los autores también relacionan la agresividad con los grados de libertad, un punto que no puedo captar.
Agradecería una explicación intuitiva además de cualquier ecuación porque no tengo una sólida formación en matemáticas.
Hastie, T., Tibshirani, R. y Tibshirani, RJ (2017). Comparaciones extendidas de la selección del mejor subconjunto, la selección progresiva hacia adelante y el lazo. ArXiv: 1707.08692 [Stat].http://arxiv.org/abs/1707.08692
Respuestas
Desde su uso en el documento vinculado, el "conjunto activo" es el conjunto de predictores que se agregan al modelo a medida que se construye. Vea el uso inicial de la frase con respecto al avance paso a paso, en el que comienza con un "conjunto activo" vacío y agrega predictores al conjunto secuencialmente.
Supongamos que se trata de un modelo de regresión lineal, por lo que su criterio para decidir cuál es el "mejor" modelo implica la diferencia cuadrática media entre los valores observados de los resultados. $y$ y sus valores predichos $\hat y$. El problema es cómo podría el ruido en los valores observados de$y$ plantean dificultades para realizar predicciones a partir del "mejor" modelo que se elige en función de los datos observados.
Supongamos que encaja por pasos hacia adelante o mejor subconjunto y ruido aleatorio en su conjunto de valores observados $y$significa que su criterio de error cuadrático medio empuja la elección del "mejor" modelo de un modelo de 3 predictores a un modelo de 4 predictores. Eso es cruzar un límite de decisión. Como se está agregando un predictor completamente nuevo, los valores predichos$\hat y$ya que cualquier conjunto de valores de predictores diferirá en saltos entre los dos modelos, por lo que las predicciones posteriores podrían depender en gran medida del ruido en las observaciones originales. Puede pensar en esto como un riesgo de que estos enfoques intenten encajar el ruido en una muestra de datos en particular.
Con Lasso, no solo ajusta el número de predictores a medida que cambia el valor de penalización $\lambda$. También está ajustando la penalización de las correspondientes magnitudes del coeficiente de regresión. Entonces, cualquier ruido aleatorio en las observaciones de$y$ conducirá a cambios continuos en lugar de escalonados en las predicciones finales $\hat y$hecho por el modelo. Sobre esa base, el lazo puede considerarse menos "agresivo" en su modelado, ya que sus predicciones finales tienden a no sobreajustarse al ruido en los datos originales.
En respuesta a los comentarios
De ISLR , página 35 (con$\hat f$ que representa el valor predicho), que describe la compensación sesgo-varianza:
La varianza se refiere a la cantidad por la cual$\hat f$ cambiaría si lo estimáramos usando un conjunto de datos de entrenamiento diferente.
De eso se trata el argumento anterior. Un ligero cambio de ruido en un conjunto de entrenamiento puede marcar una gran diferencia en las predicciones de un modelo ideado por métodos paso a paso o del mejor subconjunto. La penalización inherente al lazo minimiza la variación en ese sentido de la palabra.
Si los métodos paso a paso y los mejores subconjuntos están asociados con más "inestabilidad" podría depender de su definición de ese término. Si por "inestabilidad" se refiere a las diferencias en el conjunto final de predictores seleccionados a medida que pasa de un conjunto de entrenamiento a otro, todos los métodos de selección de predictores, incluido el lazo, tienen esa inestabilidad. Intente modelar en muestras repetidas de bootstrap de un conjunto de datos para ilustrar ese tipo de inestabilidad.
Por otro lado, con el mismo tamaño de datos de entrenamiento, el mayor número de grados de libertad efectivos utilizados por los métodos paso a paso y del mejor subconjunto los hace más propensos al sobreajuste que el lazo. Ese sobreajuste está prácticamente incluido en el uso de la palabra "varianza" anterior, por lo que si por "inestabilidad" te refieres a "varianza" alta, entonces sí, ese es el caso. Incluso si los modelos de lazo entrenados en diferentes conjuntos de entrenamiento difieren en términos de los predictores mantenidos, es menos probable que difieran en términos de predicciones.
Finalmente, el mayor número de grados de libertad significa que los valores p calculados ingenuamente para los modelos por pasos y los mejores subconjuntos no son confiables. No tienen en cuenta el uso de los datos para definir el modelo.