Hastie, T., Tibshirani, R. & Tibshirani, RJ (2017) 'de kementin' saldırganlığını ', ileri aşamalı seçimi ve en iyi alt küme seçimini anlama
Hastie vd. (2017), yukarıda belirtilen yöntemlerin sinyal-gürültü oranına (SNR) bağlı olarak değişen 'saldırganlıkları' ile nasıl performans gösterdiğini açıklamaktadır. Şimdi, farklı yöntemlerin saldırganlıklarında neden değişiklik gösterdiğini (yani son modele dahil ettikleri öngörücülerin sayısı mı?) Ve bunun SNR ile nasıl bir ilgisi olduğunu anlamıyorum. Önyargılı varyans değiş tokuşunu ve bunun bazı senaryolarda kementin daha iyi performansıyla nasıl ilişkili olduğunu anladığımı düşünüyorum, ancak yazarlar anlamadığım ek açıklamalar veriyorlar.
Yazarlar açıklamalarında şunu yazıyor:
"kementin uyan değerleri (herhangi bir sabit $\lambda \geq 0$) y'nin sürekli işlevleridir (Zou vd., 2007; Tibshirani ve Taylor, 2012), buna karşın ileri adım adım ve en iyi alt küme seçiminden uyan değerler (sabit $k \geq 1$) y aktif küme için bir karar sınırı boyunca hareket ederken süreksiz bir şekilde zıplar "(s. 3)
Birisi benim için 'karar sınırının' ne olduğunu ve aktif küme ile ne anlama geldiğini açıklayabilir mi (seçilen kestiriciler kümesi?). Yazarlar ayrıca saldırganlığı, kavrayamadığım bir nokta olan özgürlük dereceleriyle ilişkilendiriyorlar.
Herhangi bir denkleme ek olarak sezgisel bir açıklamayı takdir ediyorum çünkü güçlü bir matematik geçmişim yok.
Hastie, T., Tibshirani, R. ve Tibshirani, RJ (2017). En İyi Alt Küme Seçimi, İleri Adım Adım Seçimi ve Kementin Genişletilmiş Karşılaştırmaları. ArXiv: 1707.08692 [Stat].http://arxiv.org/abs/1707.08692
Yanıtlar
Bağlantılı kağıtta kullanımından, "aktif küme", inşa edilirken modele eklenen tahminler kümesidir. Boş bir "aktif küme" ile başladığınız ve diziye sırayla tahmin edicileri eklediğiniz adım adım ileriye göre ifadenin ilk kullanımına bakın.
Bunun doğrusal bir regresyon modeli olduğunu söyleyin, bu nedenle "en iyi" modele karar verme kriteriniz, sonuçların gözlemlenen değerleri arasındaki ortalama kare farkını içerir. $y$ ve tahmin edilen değerleri $\hat y$. Sorun, gözlemlenen değerlerde nasıl gürültü olabileceğidir.$y$ Gözlemlenen verilere göre seçilen "en iyi" modelden tahmin yapmakta zorluklar ortaya çıkarır.
İleriye doğru veya en iyi alt kümeye ve gözlemlenen değerler kümenize rastgele gürültüye uyduğunuzu varsayalım. $y$Ortalama kare hata kriterinizin "en iyi" model seçimini 3 tahminli modelden 4 tahminli modele ittiği anlamına gelir. Bu bir karar sınırını aşmaktır. Tamamen yeni bir öngörücü eklendiğinden, tahmin edilen değerler$\hat y$herhangi bir kestirimci değerleri kümesi için iki model arasındaki sıçramalara göre farklılık gösterecektir, bu nedenle daha sonraki tahminler, büyük ölçüde orijinal gözlemlerdeki gürültüye bağlı olabilir. Bunu, potansiyel olarak belirli bir veri örneğine gürültü sığdırmaya çalışan bu yaklaşımların bir riski olarak düşünebilirsiniz.
Kement ile, ceza değerini değiştirirken yalnızca tahmincilerin sayısını ayarlamazsınız $\lambda$. Ayrıca ilgili regresyon katsayısı büyüklüklerinin cezalandırılmasını da ayarlıyorsunuz. Yani gözlemlerindeki rastgele gürültü$y$ nihai tahminlerde adım adım değişikliklerden ziyade sürekli değişikliklere yol açacaktır $\hat y$model tarafından yapılmıştır. Bu temelde kement, modellemesinde daha az "agresif" olarak kabul edilebilir, çünkü nihai tahminleri orijinal verilerdeki gürültüyü abartmama eğilimindedir.
Yorumlara yanıt olarak
Gönderen ISLR , sayfa 35 (ile$\hat f$ tahmin edilen değeri temsil eder), sapma-varyans dengesini açıklar:
Varyans , hangi miktara göre$\hat f$ farklı bir eğitim veri kümesi kullanarak tahmin etseydik değişecekti.
Yukarıdaki argüman bununla ilgili. Bir eğitim setindeki küçük bir gürültü değişikliği, adım adım veya en iyi alt küme yöntemleriyle tasarlanan bir modelin tahminlerinde büyük bir fark yaratabilir. Kementin doğasında bulunan ceza, kelimenin bu anlamındaki farklılığı en aza indirir.
Aşamalı ve en iyi alt küme yöntemlerinin daha fazla "kararsızlıkla" ilişkilendirilip ilişkilendirilmeyeceği, sizin o terimi tanımınıza bağlı olabilir. "Kararsızlık" derken, eğitim setinden eğitim setine geçerken seçilen son tahminci grubundaki farklılıkları kastediyorsanız, kement dahil tüm tahminci seçme yöntemleri bu istikrarsızlığa sahiptir. Bu tür bir kararsızlığı göstermek için bir veri kümesinden tekrarlanan önyükleme örnekleri üzerinde modellemeyi deneyin.
Öte yandan, aynı eğitim verisi boyutuyla, adım adım ve en iyi alt küme yöntemleriyle kullanılan daha fazla sayıda etkili serbestlik derecesi, onları kemente göre fazla uydurmaya daha yatkın hale getirir. Bu aşırı uydurma, yukarıdaki "varyans" kelimesinin kullanımına büyük ölçüde dahil edilmiştir, bu nedenle "istikrarsızlık" derken yüksek "varyans" kastediyorsanız, evet, durum budur. Farklı eğitim setlerine göre eğitilmiş kement modelleri, sürdürülen öngörücüler açısından farklılık gösterse de, tahminler açısından farklılık gösterme olasılıkları daha düşüktür.
Son olarak, daha fazla sayıda serbestlik derecesi, aşamalı olarak hesaplanan p değerlerinin ve en iyi alt küme modellerinin güvenilir olmadığı anlamına gelir. Modeli tanımlamak için verilerin kullanımını hesaba katmazlar.