लास्सो की 'आक्रामकता' को समझते हुए, हास्टी, टी।, तिबशीरानी, आर। एंड तिब्शीरानी, आरजे (2017) में फॉरवर्ड स्टेप वाइज सिलेक्शन और बेस्ट सब्मिट सिलेक्शन
हस्ती एट अल। (२०१ing) यह स्पष्ट करें कि उपर्युक्त विधियाँ सिग्नल-टू-शोर अनुपात (एसएनआर) के आधार पर उनकी बदलती 'आक्रामकता' के आधार पर कैसा प्रदर्शन करती हैं। अब मुझे समझ नहीं आ रहा है कि अलग-अलग तरीके उनकी आक्रामकता में भिन्न क्यों हैं (मतलब कि वे अंतिम मॉडल में शामिल होने वाले भविष्यवक्ताओं की संख्या?) और यह एसएनआर से कैसे संबंधित है। मुझे लगता है कि मैं पूर्वाग्रह-विचरण व्यापार को समझता हूं और यह कुछ परिदृश्यों में लस्सो के बेहतर प्रदर्शन से संबंधित है लेकिन लेखक अतिरिक्त स्पष्टीकरण देते हैं जो मुझे नहीं मिलते हैं।
उनके स्पष्टीकरण में लेखक लिखते हैं कि
"लसो से फिट किए गए मान (किसी भी निश्चित के लिए) $\lambda \geq 0$) y (Zou et al।, 2007; टिब्शिरानी और टेलर, 2012) के निरंतर कार्य हैं, जबकि फ़ॉरवर्ड स्टेपवाइज़ और बेस्ट सब्मिट सेलेक्शन से फ़ाइन्ड वैल्यूज़ (निश्चित के लिए) $k \geq 1$) सक्रिय सेट के लिए एक निर्णय सीमा के पार y के रूप में कूदता है "(पृष्ठ 3)
क्या कोई मेरे लिए स्पष्ट कर सकता है कि 'निर्णय सीमा' क्या है और सक्रिय सेट (चयनित भविष्यवक्ताओं के सेट?) से क्या अभिप्राय है। लेखक भी स्वतंत्रता की डिग्री के लिए आक्रामकता से संबंधित हैं, एक बिंदु जिसे मैं समझ नहीं सकता।
मैं किसी भी समीकरण के अलावा एक सहज व्याख्या की सराहना करता हूं क्योंकि मेरे पास एक मजबूत गणित पृष्ठभूमि नहीं है।
हस्ती, टी।, तिब्शीरानी, आर।, और तिब्शीरानी, आरजे (2017)। बेस्ट सबसेट सिलेक्शन, फॉरवर्ड स्टेपवाइज सिलेक्शन, और लास्सो की विस्तारित तुलना। ArXiv: 1707.08692 [स्टेट]।http://arxiv.org/abs/1707.08692
जवाब
लिंक किए गए पेपर में इसके उपयोग से, "सक्रिय सेट" भविष्यवाणियों का सेट है जिसे मॉडल में जोड़ा जा रहा है जैसा कि इसे बनाया जा रहा है। आगे के स्टेप वाइज के संबंध में वाक्यांश का प्रारंभिक उपयोग देखें, जिसमें आप एक खाली "सक्रिय सेट" के साथ शुरू करते हैं और क्रमिक रूप से सेट में भविष्यवक्ताओं को जोड़ते हैं।
यह कहें कि यह एक रेखीय प्रतिगमन मॉडल है, इसलिए "सर्वोत्तम" मॉडल पर निर्णय लेने के लिए आपकी कसौटी में परिणामों के प्रेक्षित मूल्यों के बीच अंतर-वर्ग अंतर शामिल है। $y$ और उनके पूर्वानुमानित मूल्य $\hat y$। मुद्दा यह है कि कैसे मनाया मूल्यों में शोर हो सकता है$y$ प्रेक्षित डेटा के आधार पर "सर्वश्रेष्ठ" मॉडल से भविष्यवाणियां करने के लिए कठिनाइयों का सामना करें।
कहते हैं कि आप अपने देखे गए मूल्यों के सेट में फ़ॉरवर्ड-स्टेपवाइज़ या बेस्ट-सब्मिट और रैंडम शोर से फिट होते हैं $y$इसका मतलब यह है कि आपका माध्य-वर्ग त्रुटि मानदंड 3-प्रेडिक्टर से "सर्वश्रेष्ठ" मॉडल की पसंद को 4-प्रेडिक्ट मॉडल पर धकेलता है। वह एक निर्णय सीमा पार कर रहा है। जैसा कि एक नया भविष्यवक्ता जोड़ा जा रहा है, पूर्वानुमानित मूल्य$\hat y$भविष्यवक्ता मूल्यों के किसी भी सेट के लिए दो मॉडलों के बीच छलांग से भिन्न होगा, इसलिए बाद के पूर्वानुमान मूल टिप्पणियों में शोर पर बहुत अधिक निर्भर हो सकते हैं। आप इस बारे में सोच सकते हैं कि इन दृष्टिकोणों का एक जोखिम संभावित रूप से एक विशेष डेटा नमूने में शोर को फिट करने की कोशिश कर रहा है।
लसो के साथ, आप केवल जुर्माना मूल्य में बदलाव करते हुए भविष्यवक्ताओं की संख्या को समायोजित नहीं कर रहे हैं $\lambda$। आप संबंधित प्रतिगमन-गुणांक परिमाण के दंड को भी समायोजित कर रहे हैं। की टिप्पणियों में कोई भी यादृच्छिक शोर$y$ अंतिम भविष्यवाणियों में चरणबद्ध बदलावों के बजाय निरंतर बने रहेंगे $\hat y$मॉडल द्वारा बनाया गया। उस आधार पर लास्सो को अपने मॉडलिंग में कम "आक्रामक" माना जा सकता है, क्योंकि इसकी अंतिम भविष्यवाणियां मूल डेटा में शोर को ओवरफिट नहीं करती हैं।
टिप्पणियों के जवाब में
से ISLR , पेज 35 (के साथ$\hat f$ पूर्वाग्रह-भिन्नता व्यापार का वर्णन करते हुए) अनुमानित मूल्य का प्रतिनिधित्व करते हुए:
भिन्नता का तात्पर्य उस राशि से है जिसके द्वारा$\hat f$ अगर हम अनुमान लगाते हैं कि यह एक अलग प्रशिक्षण डेटा सेट का उपयोग करेगा।
यही उपरोक्त तर्क है। एक प्रशिक्षण सेट में शोर का थोड़ा सा बदलाव स्टेप वाइज या सर्वश्रेष्ठ-सबसेट विधियों द्वारा तैयार किए गए मॉडल से भविष्यवाणियों में एक बड़ा अंतर ला सकता है। लास्सो में निहित दंड शब्द के अर्थ में भिन्नता को कम करता है।
चाहे स्टेप वाइज और बेस्ट-सब्मिट तरीके अधिक "अस्थिरता" से जुड़े हों, यह आपके शब्द की परिभाषा पर निर्भर हो सकता है। यदि "अस्थिरता" से आपका मतलब है कि चुने हुए भविष्यवक्ताओं के अंतिम सेट में अंतर है, जैसा कि आप प्रशिक्षण सेट से प्रशिक्षण सेट तक जाते हैं, तो लसो सहित सभी भविष्यवक्ता-चयन विधियों में अस्थिरता है। उस प्रकार की अस्थिरता को दर्शाने के लिए सेट किए गए डेटा से बार-बार बूटस्ट्रैप नमूनों पर मॉडलिंग करने का प्रयास करें।
दूसरी ओर, प्रशिक्षण डेटा के एक ही आकार के साथ, बड़ी संख्या में स्वतंत्रता की प्रभावी डिग्री का उपयोग स्टेप वाइज और सर्वश्रेष्ठ-सबसेट विधियों द्वारा किया जाता है, जो उन्हें लसो की तुलना में अधिक होने का खतरा है। यह ओवरफिटिंग बहुत अधिक शब्द "विचरण" के उपयोग में शामिल है, इसलिए यदि "अस्थिरता" से आपका मतलब उच्च "विचरण" से है, तो हाँ, यह मामला है। यहां तक कि अगर अलग-अलग प्रशिक्षण सेटों पर प्रशिक्षित लासो मॉडल बनाए गए भविष्यवाणियों के संदर्भ में भिन्न होते हैं, तो वे भविष्यवाणियों के संदर्भ में भिन्न होने की संभावना कम हैं।
अंत में, स्वतंत्रता की डिग्री की बड़ी संख्या का मतलब है कि पी-मानों को सौतेले और सर्वश्रेष्ठ-सबसेट मॉडल के लिए गणना की गई है जो विश्वसनीय नहीं हैं। वे मॉडल को परिभाषित करने के लिए डेटा के उपयोग को ध्यान में नहीं रखते हैं।