Memahami 'agresivitas' laso, pemilihan bertahap maju dan pemilihan subset terbaik di Hastie, T., Tibshirani, R. & Tibshirani, RJ (2017)
Hastie dkk. (2017) menjelaskan bagaimana metode yang disebutkan di atas bekerja tergantung pada rasio signal-to-noise (SNR) dengan 'agresivitas' yang bervariasi. Sekarang saya tidak mengerti mengapa metode yang berbeda bervariasi dalam agresivitasnya (artinya jumlah prediktor yang mereka sertakan dalam model akhir?) Dan bagaimana hal ini berkaitan dengan SNR. Saya rasa saya memahami pertukaran bias-varians dan bagaimana kaitannya dengan kinerja laso yang lebih baik dalam beberapa skenario, tetapi penulis memberikan penjelasan tambahan yang tidak saya dapatkan.
Dalam penjelasannya penulis menulis itu
"nilai yang dipasang dari laso (untuk setiap tetap $\lambda \geq 0$) adalah fungsi kontinu dari y (Zou et al., 2007; Tibshirani dan Taylor, 2012), sedangkan nilai yang dipasang dari pilihan maju bertahap dan subset terbaik (untuk $k \geq 1$) melompat secara terputus-putus saat y bergerak melintasi batas keputusan untuk himpunan aktif "(hal. 3)
Bisakah seseorang menjelaskan kepada saya apa itu 'batas keputusan' dan apa yang dimaksud dengan himpunan aktif (himpunan prediktor dipilih?). Penulis juga menghubungkan agresivitas dengan derajat kebebasan, hal yang tidak dapat saya pahami.
Saya menghargai penjelasan intuitif selain persamaan apa pun karena saya tidak memiliki latar belakang matematika yang kuat.
Hastie, T., Tibshirani, R., & Tibshirani, RJ (2017). Perbandingan Diperpanjang dari Pilihan Subset Terbaik, Pilihan Bertahap Teruskan, dan Lasso. ArXiv: 1707.08692 [Stat].http://arxiv.org/abs/1707.08692
Jawaban
Dari penggunaannya di kertas tertaut, "set aktif" adalah himpunan prediktor yang ditambahkan ke model saat dibuat. Lihat penggunaan awal frasa sehubungan dengan maju bertahap, di mana Anda memulai dengan "set aktif" kosong dan menambahkan prediktor ke set secara berurutan.
Katakanlah ini adalah model regresi linier, jadi kriteria Anda untuk memutuskan model "terbaik" melibatkan perbedaan rata-rata kuadrat antara nilai yang diamati dari hasil $y$ dan nilai prediksi mereka $\hat y$. Masalahnya adalah seberapa mungkin noise dalam nilai yang diamati dari$y$ menimbulkan kesulitan untuk membuat prediksi dari model "terbaik" yang dipilih berdasarkan data yang diamati.
Katakanlah Anda menyesuaikan dengan langkah maju atau subset terbaik, dan gangguan acak dalam kumpulan nilai yang Anda amati $y$berarti kriteria error mean-squared Anda mendorong pilihan model "terbaik" dari model 3-prediktor menjadi model 4-prediktor. Itu melewati batas keputusan. Karena ada prediktor baru yang ditambahkan, nilai prediksi$\hat y$untuk setiap set nilai prediktor akan berbeda dengan lompatan antara dua model, jadi prediksi selanjutnya mungkin sangat bergantung pada gangguan dalam pengamatan asli. Anda dapat menganggap ini sebagai risiko dari pendekatan ini yang berpotensi mencoba menyesuaikan kebisingan dalam sampel data tertentu.
Dengan laso, Anda tidak hanya menyesuaikan jumlah prediktor saat Anda mengubah nilai penalti $\lambda$. Anda juga menyesuaikan hukuman dari besaran koefisien regresi yang sesuai. Jadi setiap gangguan acak dalam pengamatan$y$ akan mengarah pada perubahan yang berkelanjutan daripada perubahan bertahap dalam prediksi akhir $\hat y$dibuat oleh model. Atas dasar itu, laso dapat dianggap kurang "agresif" dalam pemodelannya, karena prediksi akhirnya cenderung tidak menyesuaikan noise dalam data asli.
Menanggapi komentar
Dari ISLR , halaman 35 (dengan$\hat f$ mewakili nilai prediksi), menjelaskan tradeoff bias-varians:
Varians mengacu pada jumlah yang digunakan$\hat f$ akan berubah jika kami memperkirakannya menggunakan kumpulan data pelatihan yang berbeda.
Itulah maksud dari argumen di atas. Sedikit perubahan noise dalam set pelatihan dapat membuat perbedaan besar dalam prediksi dari model yang dibuat dengan metode bertahap atau metode subset terbaik. Hukuman yang melekat pada laso meminimalkan varian dalam arti kata itu.
Apakah metode stepwise dan best-subset dikaitkan dengan lebih banyak "ketidakstabilan" mungkin bergantung pada definisi Anda tentang istilah itu. Jika yang Anda maksud dengan "ketidakstabilan" adalah perbedaan dalam kumpulan prediktor akhir yang dipilih saat Anda berpindah dari set pelatihan ke set pelatihan, semua metode pemilihan prediktor termasuk laso memiliki ketidakstabilan itu. Cobalah membuat model pada sampel bootstrap berulang dari kumpulan data untuk menggambarkan jenis ketidakstabilan tersebut.
Di sisi lain, dengan ukuran data pelatihan yang sama, semakin banyak jumlah derajat kebebasan efektif yang digunakan oleh metode bertahap dan subset terbaik membuatnya lebih rentan terhadap overfitting daripada laso. Overfitting itu cukup banyak termasuk dalam penggunaan kata "variance" di atas, jadi jika yang Anda maksud dengan "instability" adalah "variance" yang tinggi maka ya, itulah masalahnya. Bahkan jika model laso yang dilatih pada set pelatihan berbeda berbeda dalam hal prediktor yang dipertahankan, mereka cenderung tidak berbeda dalam hal prediksi.
Akhirnya, jumlah derajat kebebasan yang lebih besar berarti bahwa nilai-p yang dihitung secara naif untuk model bertahap dan subset terbaik tidak dapat diandalkan. Mereka tidak memperhitungkan penggunaan data untuk menentukan model.