Comprensione dell'aggressività del lazo, selezione graduale in avanti e selezione del miglior sottoinsieme in Hastie, T., Tibshirani, R. & Tibshirani, RJ (2017)
Hastie et al. (2017) spiegano come si comportano i metodi sopra menzionati a seconda del rapporto segnale / rumore (SNR) con la loro varia "aggressività". Ora non capisco perché i diversi metodi variano nella loro aggressività (ovvero il numero di predittori che includono nel modello finale?) E in che modo questo si riferisce all'SNR. Penso di capire il compromesso bias-varianza e come si collega a una migliore prestazione del lazo in alcuni scenari, ma gli autori danno spiegazioni aggiuntive che non ottengo.
Nella loro spiegazione gli autori lo scrivono
"i valori adattati dal lazo (per qualsiasi file $\lambda \geq 0$) sono funzioni continue di y (Zou et al., 2007; Tibshirani e Taylor, 2012), mentre i valori stimati dalla selezione graduale in avanti e del miglior sottoinsieme (per $k \geq 1$) salta in modo discontinuo mentre y si sposta attraverso un confine decisionale per l'insieme attivo "(p. 3)
Qualcuno potrebbe chiarirmi qual è il "confine decisionale" e cosa si intende per insieme attivo (l'insieme di predittori selezionati?). Gli autori mettono anche in relazione l'aggressività con i gradi di libertà, un punto che non riesco a cogliere.
Apprezzerei una spiegazione intuitiva oltre a qualsiasi equazione perché non ho una solida preparazione in matematica.
Hastie, T., Tibshirani, R. e Tibshirani, RJ (2017). Confronti estesi della selezione del sottoinsieme migliore, della selezione progressiva in avanti e del lazo. ArXiv: 1707.08692 [Stat].http://arxiv.org/abs/1707.08692
Risposte
Dal suo utilizzo nel documento collegato, il "set attivo" è l'insieme di predittori che vengono aggiunti al modello durante la creazione. Vedere l'uso iniziale della frase rispetto a forward stepwise, in cui si inizia con un "set attivo" vuoto e si aggiungono predittori al set in sequenza.
Supponi che questo sia un modello di regressione lineare, quindi il tuo criterio per decidere il modello "migliore" implica la differenza quadratica media tra i valori osservati dei risultati $y$ e i loro valori previsti $\hat y$. Il problema è come potrebbe rumore nei valori osservati di$y$ pongono difficoltà per fare previsioni dal modello "migliore" scelto in base ai dati osservati.
Supponi di adattarti in base al passo avanti o al miglior sottoinsieme e al rumore casuale nel tuo insieme di valori osservati $y$significa che il tuo criterio di errore quadratico medio spinge la scelta del modello "migliore" da un modello a 3 predittori a un modello a 4 predittori. Questo è attraversare un confine decisionale. Poiché viene aggiunto un nuovo predittore, i valori previsti$\hat y$poiché qualsiasi insieme di valori predittori differirà dai salti tra i due modelli, quindi le previsioni successive potrebbero dipendere in larga misura dal rumore nelle osservazioni originali. Si può pensare a questo come a un rischio che questi approcci tentino potenzialmente di adattare il rumore in un particolare campione di dati.
Con il lazo, non stai solo regolando il numero di predittori mentre modifichi il valore della penalità $\lambda$. Stai anche regolando la penalizzazione delle grandezze dei coefficienti di regressione corrispondenti. Quindi qualsiasi rumore casuale nelle osservazioni di$y$ porterà a cambiamenti continui piuttosto che graduali nelle previsioni finali $\hat y$realizzato dal modello. Su questa base, il lazo può essere considerato meno "aggressivo" nella sua modellazione, poiché le sue previsioni finali tendono a non sovradimensionare il rumore nei dati originali.
In risposta ai commenti
Da ISLR , pagina 35 (con$\hat f$ che rappresenta il valore previsto), descrivendo il compromesso bias-varianza:
La varianza si riferisce all'importo di cui$\hat f$ cambierebbe se lo stimassimo utilizzando un diverso set di dati di addestramento.
Questo è l'argomento di cui sopra. Un leggero cambiamento di rumore in un training set può fare una grande differenza nelle previsioni da un modello ideato con metodi stepwise o best-subset. La penalizzazione insita nel lazo minimizza la varianza in quel senso della parola.
Se i metodi stepwise e best-subset sono associati a una maggiore "instabilità" potrebbe dipendere dalla definizione di quel termine. Se per "instabilità" si intendono le differenze nel set finale di predittori selezionati mentre si passa da un set di allenamento a un set di allenamento, tutti i metodi di selezione dei predittori, compreso il lazo, presentano tale instabilità. Prova a modellare su campioni di bootstrap ripetuti da un set di dati per illustrare quel tipo di instabilità.
D'altra parte, con la stessa dimensione dei dati di addestramento, il maggior numero di gradi di libertà effettivi utilizzati dai metodi graduali e migliori li rendono più inclini all'overfitting rispetto al lazo. Questo overfitting è praticamente incluso nell'uso della parola "varianza" sopra, quindi se per "instabilità" intendi "varianza" alta, allora sì, è così. Anche se i modelli lazo addestrati su diversi set di addestramento differiscono in termini di predittori mantenuti, è meno probabile che differiscano in termini di previsioni.
Infine, il maggior numero di gradi di libertà significa che i valori p calcolati ingenuamente per i modelli stepwise e best-subset non sono affidabili. Non tengono conto dell'utilizzo dei dati per definire il modello.