केएल विचलन का उपयोग मशीन लर्निंग में इतनी बार क्यों किया जाता है?
केएल डाइवर्जेंस गॉसियंस के रूप में सरल वितरण के लिए बंद रूप में गणना करने के लिए काफी आसान है- लेकिन इसमें कुछ नहीं-बहुत अच्छे गुण हैं। उदाहरण के लिए, यह सममित नहीं है (इस प्रकार यह मीट्रिक नहीं है) और यह त्रिकोणीय असमानता का सम्मान नहीं करता है।
क्या कारण है कि इसका उपयोग अक्सर एमएल में किया जाता है? क्या अन्य सांख्यिकीय दूरियाँ नहीं हैं जिनका उपयोग किया जा सकता है?
जवाब
यह प्रश्न इस अर्थ में बहुत सामान्य है कि आपके द्वारा विचार किए जा रहे एमएल के क्षेत्र के आधार पर कारण भिन्न हो सकते हैं। एमएल के नीचे दो अलग-अलग क्षेत्र हैं जहां केएल-विचलन एक प्राकृतिक परिणाम है:
- वर्गीकरण: लॉग-लाइकैलिअस को अधिकतम करना (या नकारात्मक लॉग-लाइबिलिटी को कम करना) केएल विचलन को डीएल-आधारित वर्गीकरण में प्रयुक्त विशिष्ट के रूप में न्यूनतम करने के बराबर है जहां एक-गर्म लक्ष्यों को आमतौर पर संदर्भ के रूप में उपयोग किया जाता है (देखेंhttps://stats.stackexchange.com/a/357974) है। इसके अलावा, अगर आपके पास एक-गर्म वेक्टर है$e_y$ साथ से $1$ सूचकांक पर $y$, क्रॉस-एंट्रोपी को कम करना $\min_{\hat{p}}H(e_y, \hat{p}) = - \sum_y e_y \log \hat{p}_y = - \log \hat{p}$लॉग-लाइक को अधिकतम करने के लिए नीचे फोड़े। सारांश में, लॉग-लाइबिलिटी को अधिकतम करना एक स्वाभाविक उद्देश्य है, और केएल-विचलन (0 लॉग 0 के रूप में परिभाषित किया गया है) आमतौर पर उद्देश्य के रूप में स्पष्ट रूप से प्रेरित होने के बजाय सामान्य सेटिंग्स में लॉग-लाइबिलिटी के समतुल्य होने के कारण आता है।
- बहु-सशस्त्र डाकू (सुदृढीकरण सीखने का एक उप-क्षेत्र): ऊपरी विश्वास बाध्य (यूसीबी) एक मानक एकाग्रता असमानताओं से प्राप्त एल्गोरिथ्म है। अगर हम बर्नौली पुरस्कारों के साथ MAB पर विचार करते हैं, तो हम नीचे उल्लिखित केएल विचलन के संदर्भ में व्यक्त ऊपरी सीमा प्राप्त करने के लिए चेरनॉफ़ के बाउंड को लागू कर सकते हैं और मुक्त पैरामीटर पर अनुकूलन कर सकते हैं (देखेंhttps://page.mi.fu-berlin.de/mulzer/notes/misc/chernoff.pdf कुछ अलग साक्ष्यों के लिए)।
चलो $X_1, \dots, X_n$ पैरामीटर के साथ iid Bernoulli RVs हों $p$। $$P(\sum_i X_i \geq (p+t)n) \leq \inf_\lambda M_X (\lambda) e^{-\lambda t} = \exp(-n D_{KL}(p+t||p)).$$
एमएल में हम हमेशा अज्ञात संभावना वितरण से निपटते हैं जिससे डेटा आता है। वास्तविक और मॉडल वितरण के बीच की दूरी की गणना करने का सबसे आम तरीका है$KL$ विचलन।
कुल्बैक-लिबलर विचलन क्यों?
हालांकि अन्य नुकसान कार्य हैं (उदाहरण के लिए MSE, MAE), $KL$विचलन स्वाभाविक है जब हम संभाव्यता वितरण के साथ काम कर रहे हैं। यह सूचना सिद्धांत में एक मूलभूत समीकरण है जो बिट्स में परिमाणित करता है, दो संभावित वितरण कितने करीब हैं। इसे सापेक्ष एन्ट्रॉपी भी कहा जाता है और, जैसा कि नाम से पता चलता है, यह एन्ट्रॉपी से निकटता से संबंधित है, जो बदले में सूचना सिद्धांत में एक केंद्रीय अवधारणा है। चलो असतत मामले के लिए एन्ट्रॉपी की परिभाषा को याद करते हैं:
$$ H = -\sum_{i=1}^{N} p(x_i) \cdot \text{log }p(x_i) $$
जैसा कि आपने देखा, अपने आप में एन्ट्रापी केवल एक एकल संभावना वितरण का एक उपाय है। यदि हम दूसरे वितरण को जोड़कर इस सूत्र को थोड़ा संशोधित करते हैं, तो हम प्राप्त करते हैं$KL$ विचलन:
$$ D_{KL}(p||q) = \sum_{i=1}^{N} p(x_i)\cdot (\text{log }p(x_i) - \text{log }q(x_i)) $$
कहां है $p$ एक डेटा वितरण है और $q$ मॉडल वितरण है।
जैसा कि हम देख सकते हैं, $KL$विचलन 2 वितरणों की तुलना करने का सबसे प्राकृतिक तरीका है। इसके अलावा, यह गणना करना बहुत आसान है। यह लेख इस पर अधिक अंतर्ज्ञान प्रदान करता है:
मूलतः, केएल विचलन के साथ जो हम देख रहे हैं वह अनुमानित वितरण के साथ मूल वितरण में डेटा की संभावना के बीच लॉग अंतर की अपेक्षा है। फिर, अगर हम के संदर्भ में सोचते हैं$log_2$ हम इसकी व्याख्या "जानकारी के कितने बिट्स खो जाने की उम्मीद करते हैं" के रूप में कर सकते हैं।
क्रॉस एन्ट्रापी
क्रॉस-एन्ट्रोपी आमतौर पर मशीन लर्निंग में एक हानि फ़ंक्शन के रूप में उपयोग किया जाता है जहां हमारे पास सॉफ्टमैक्स (या सिग्मॉइड) आउटपुट परत होती है, क्योंकि यह कक्षाओं में एक पूर्वानुमान वितरण का प्रतिनिधित्व करता है। एक-हॉट आउटपुट एक मॉडल वितरण का प्रतिनिधित्व करता है$q$, जबकि सच्चे लेबल एक लक्ष्य वितरण का प्रतिनिधित्व करते हैं $p$। हमारा लक्ष्य धक्का देना है$q$ सेवा मेरे $p$जितना संभव हो सके उतना करीब। हम सभी मूल्यों पर एक औसत चुकता त्रुटि ले सकते हैं, या हम पूर्ण अंतरों को जोड़ सकते हैं, लेकिन सूचना सिद्धांत से प्रेरित एक उपाय क्रॉस-एंट्रोपी है। यह दिए गए नमूनों को एनकोड करने के लिए आवश्यक बिट्स की औसत संख्या देता है$p$, का उपयोग कर $q$ एन्कोडिंग वितरण के रूप में।
एन्ट्रापी पर आधारित क्रॉस-एन्ट्रापी और आम तौर पर दो प्रायिकता वितरण और निकटता से संबंधित अंतर की गणना करता है $KL$विचलन। अंतर यह है कि यह वितरण के बीच कुल एन्ट्रापी की गणना करता है, जबकि$KL$विचलन रिश्तेदार एन्ट्रापी का प्रतिनिधित्व करता है। कोर्स-एन्ट्रापी को निम्नानुसार परिभाषित किया जा सकता है:
$$ H(p, q) = H(p) + D_{KL}(p \parallel q) $$
इस समीकरण में पहला शब्द सही संभावना वितरण का एन्ट्रापी है $p$ कि एन्ट्रापी के बाद से अनुकूलन के दौरान छोड़ा जाता है $p$स्थिर है। इसलिए, क्रॉस-एन्ट्रापी को कम करना अनुकूलन के समान है$KL$ विचलन।
लघुगणक जैसा
यह भी दिखाया जा सकता है कि (लॉग) संभावना को अधिकतम करना क्रॉस एन्ट्रॉपी को कम करने के बराबर है।
सीमाएं
जैसा आपने उल्लेख किया था, $KL$विचलन सममित नहीं है। लेकिन ज्यादातर मामलों में यह महत्वपूर्ण नहीं है, क्योंकि हम मॉडल वितरण को वास्तविक रूप से आगे बढ़ाकर अनुमान लगाना चाहते हैं, लेकिन इसके विपरीत नहीं। जेन्सेन-शैनन विचलन नामक एक सममित संस्करण भी है :$$ D_{JS}(p||q)=\frac{1}{2}D_{KL}(p||m)+\frac{1}{2}D_{KL}(q||m) $$ कहां है $m=\frac{1}{2}(p+q)$।
का मुख्य नुकसान है $KL$यह है कि अज्ञात वितरण और मॉडल वितरण दोनों का समर्थन होना चाहिए। अन्यथा$D_{KL}(p||q)$ बन जाता है $+\infty$ तथा $D_{JS}(p||q)$ बन जाता है $log2$
दूसरा, यह ध्यान दिया जाना चाहिए कि $KL$मीट्रिक नहीं है, क्योंकि यह त्रिकोण असमानता का उल्लंघन करता है। यही है, कुछ मामलों में यह हमें नहीं बताएगा कि क्या हम अपने मॉडल वितरण का आकलन करते समय सही दिशा में जा रहे हैं। यहाँ इस जवाब से लिया गया एक उदाहरण है । दो असतत वितरण को देखते हुए$p$ तथा $q$, हम गणना करते हैं $KL$ विचलन और वासेरस्टीन मीट्रिक:
जैसा कि आप देख सकते हैं, $KL$ विचलन वही रहा, जबकि वासेरस्टीन मीट्रिक कम हो गया।
लेकिन जैसा कि टिप्पणियों में उल्लेख किया गया है, वासेरस्टीन मैट्रिक एक निरंतर स्थान में अत्यधिक अट्रैक्टिव है। हम अभी भी वासेरस्टीन गण में इस्तेमाल किए जाने वाले कांटोरोविच-रुबिनस्टीन द्वैत को लागू करके इसका उपयोग कर सकते हैं । आप इस लेख में इस विषय पर और भी जानकारी प्राप्त कर सकते हैं ।
की 2 कमियां $KL$शोर जोड़कर कम किया जा सकता है। इस पत्र में इस पर अधिक