Comprendre `` l'agressivité '' du lasso, la sélection par étapes vers l'avant et la meilleure sélection de sous-ensembles dans Hastie, T., Tibshirani, R. & Tibshirani, RJ (2017)
Hastie et coll. (2017) expliquent comment les méthodes mentionnées ci-dessus fonctionnent en fonction du rapport signal sur bruit (SNR) avec leur `` agressivité '' variable. Maintenant, je ne comprends pas pourquoi les différentes méthodes varient dans leur agressivité (c'est-à-dire le nombre de prédicteurs qu'elles incluent dans le modèle final?) Et comment cela se rapporte au SNR. Je pense que je comprends le compromis biais-variance et comment il se rapporte à une meilleure performance du lasso dans certains scénarios, mais les auteurs donnent des explications supplémentaires que je ne comprends pas.
Dans leur explication, les auteurs écrivent que
"les valeurs ajustées du lasso (pour tout $\lambda \geq 0$) sont des fonctions continues de y (Zou et al., 2007; Tibshirani et Taylor, 2012), tandis que les valeurs ajustées de la sélection progressive et du meilleur sous-ensemble (pour $k \geq 1$) sauter de façon discontinue lorsque y se déplace à travers une limite de décision pour l'ensemble actif "(p. 3)
Quelqu'un pourrait-il clarifier pour moi ce qu'est la «limite de décision» et ce que signifie l'ensemble actif (l'ensemble des prédicteurs sélectionnés?). Les auteurs associent également l'agressivité aux degrés de liberté, un point que je ne saisis pas.
J'apprécierais une explication intuitive en plus de toutes les équations car je n'ai pas une solide expérience en mathématiques.
Hastie, T., Tibshirani, R. et Tibshirani, RJ (2017). Comparaisons étendues de la meilleure sélection de sous-ensemble, de la sélection par étapes vers l'avant et du lasso. ArXiv: 1707,08692 [Stat].http://arxiv.org/abs/1707.08692
Réponses
A partir de son utilisation dans l'article lié, «l'ensemble actif» est l'ensemble des prédicteurs qui sont ajoutés au modèle au fur et à mesure de sa construction. Reportez-vous à l'utilisation initiale de la phrase par rapport à l'avance pas à pas, dans laquelle vous commencez avec un "ensemble actif" vide et ajoutez des prédicteurs à l'ensemble de manière séquentielle.
Dites qu'il s'agit d'un modèle de régression linéaire, votre critère pour choisir le «meilleur» modèle implique donc la différence quadratique moyenne entre les valeurs observées des résultats $y$ et leurs valeurs prédites $\hat y$. Le problème est de savoir comment le bruit dans les valeurs observées de$y$ posent des difficultés pour faire des prédictions à partir du «meilleur» modèle choisi en fonction des données observées.
Supposons que vous vous adaptiez par pas en avant ou par meilleur sous-ensemble, et par bruit aléatoire dans votre ensemble de valeurs observées $y$signifie que votre critère d'erreur quadratique moyenne pousse le choix du «meilleur» modèle d'un modèle à 3 prédicteurs à un modèle à 4 prédicteurs. Cela franchit une frontière de décision. Comme il y a un tout nouveau prédicteur ajouté, les valeurs prédites$\hat y$pour tout ensemble de valeurs de prédicteur différera par sauts entre les deux modèles, de sorte que les prévisions ultérieures pourraient dépendre fortement du bruit dans les observations originales. Vous pouvez considérer cela comme un risque que ces approches tentent potentiellement d'ajuster le bruit dans un échantillon de données particulier.
Avec le lasso, vous n'ajustez pas simplement le nombre de prédicteurs lorsque vous modifiez la valeur de pénalité $\lambda$. Vous ajustez également la pénalisation des grandeurs de coefficient de régression correspondantes. Donc, tout bruit aléatoire dans les observations de$y$ entraînera des changements continus plutôt que par étapes dans les prévisions ultimes $\hat y$fait par le modèle. Sur cette base, le lasso peut être considéré comme moins «agressif» dans sa modélisation, car ses prédictions ultimes tendent à ne pas suradapter le bruit dans les données originales.
En réponse aux commentaires
Depuis ISLR , page 35 (avec$\hat f$ représentant la valeur prédite), décrivant le compromis biais-variance:
L'écart fait référence au montant par lequel$\hat f$ changerait si nous l'avons estimé à l'aide d'un ensemble de données d'entraînement différent.
C'est le sujet de l'argument ci-dessus. Un léger changement de bruit dans un ensemble d'apprentissage peut faire une grande différence dans les prédictions d'un modèle conçu par des méthodes pas à pas ou du meilleur sous-ensemble. La pénalisation inhérente au lasso minimise la variance dans ce sens du mot.
L'association des méthodes pas à pas et du meilleur sous-ensemble à une plus grande «instabilité» peut dépendre de votre définition de ce terme. Si, par «instabilité», vous entendez des différences dans l'ensemble final de prédicteurs sélectionnés lorsque vous passez de l'ensemble d'apprentissage à l'ensemble d'apprentissage, toutes les méthodes de sélection de prédicteurs, y compris le lasso, présentent cette instabilité. Essayez de modéliser sur des échantillons bootstrap répétés à partir d'un ensemble de données pour illustrer ce type d'instabilité.
D'un autre côté, avec la même taille de données d'entraînement, le plus grand nombre de degrés de liberté effectifs utilisés par les méthodes pas à pas et du meilleur sous-ensemble les rend plus enclins au surajustement que le lasso. Ce surajustement est à peu près inclus dans l'utilisation du mot «variance» ci-dessus, donc si par «instabilité» vous entendez une «variance» élevée, alors oui, c'est le cas. Même si les modèles de lasso entraînés sur différents ensembles d'entraînement diffèrent en termes de prédicteurs maintenus, ils sont moins susceptibles de différer en termes de prédictions.
Enfin, le plus grand nombre de degrés de liberté signifie que les valeurs p calculées naïvement pour les modèles pas à pas et les meilleurs sous-ensembles ne sont pas fiables. Ils ne prennent pas en compte l'utilisation des données pour définir le modèle.