यदि Y के पास एक घातीय पारिवारिक वितरण है, तो वह दिखाता है $E(\frac{\partial L}{\partial \theta}) = 0$
मैं एक सेल्फ स्टडी फैशन की तैयारी कर रहा हूं, जिसमें मैं इस सेमेस्टर को सामान्यीकृत रैखिक मॉडल में लेने जा रहा हूं। सवाल यह है कि वाई यादृच्छिक चर घातीय परिवार से संबंधित है, यह देखते हुए कि:$$ E(\frac{\partial L}{\partial \theta}) = 0 $$
$$ E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2) $$
मैं इस प्रकार के व्यायाम में थोड़ा कठोर हूँ, लेकिन यह वही है जो मैंने अब तक प्रबंधित किया है।
पहले भाग के लिए, अंतर करना आसान है $L(\theta)$, कहाँ पे $L$लॉग संभावना है। मेरे द्वारा उपयोग किए जा रहे घातीय परिवार का सटीक पैरामीरिजेशन (उपचार करना) है$\phi$ जैसा कि ज्ञात है) निम्नलिखित:
$$ f(y; \theta, \phi) = exp[\phi(y\theta - b(\theta)) + c(y;\phi)] $$
तथा $Y$ द्वारा वितरित यादृच्छिक चर है $f$।
मैं पहुंच सकता हूं $\frac{\partial L}{\partial \theta} = \phi y - \phi b'(\theta)$ (कार्य करता है $b$ तथा $c$भिन्न हैं)। हालांकि, यह निष्कर्ष निकालने के लिए$E(\frac{\partial L}{\partial \theta}) = 0$ मुझे यह मानने की जरूरत है $b'(\theta) = E(Y) = \mu$ताकि मैं अपेक्षाओं के गुणों को पूरी तरह से समाप्त कर सकूं। और ऐसा लगता है कि मैं धोखा दे रहा हूं, क्योंकि मेरे पास यह धारणा नहीं है।
गिना जा रहा है $E(Y) = \int_{\mathbb{R}}yf(y)dy$ बस अच्छी तरह से काम नहीं करता है।
दूसरा भाग भी मेरी गणना करने के लिए समाप्त होता है $E(b''(\theta))$ उसी अंदाज में।
मैककुलग और नेल्डर की पुस्तक [1] में, वे संबंधों को कहते हैं $E(\frac{\partial L}{\partial \theta}) = 0$ तथा $E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2)$ अच्छी तरह से ज्ञात हैं (पृष्ठ 28) और इसे स्थापित करने के लिए उपयोग करें $E(Y)$, इसलिए परिणाम मैं साबित करने की कोशिश कर रहा हूँ स्पष्ट रूप से पूर्व $E(Y)$ गणना।
1: सामान्यीकृत रैखिक मॉडल, दूसरा संस्करण पी। मैककुलघ और। जेए नेल्डर (1989)
जवाब
हालांकि, यह निष्कर्ष निकालने के लिए $E(\frac{\partial L}{\partial \theta}) = 0$ मुझे यह मानने की जरूरत है $b'(\theta) = E(Y) = \mu$ताकि मैं अपेक्षाओं के गुणों को पूरी तरह से समाप्त कर सकूं। और ऐसा लगता है कि मैं धोखा दे रहा हूं, क्योंकि मेरे पास यह धारणा नहीं है।
$b(\theta)$ लॉग विभाजन फ़ंक्शन है और यह डेरिवेटिव्स के क्षणों से संबंधित है $y$।
के साथ संबंध के लिए $\mu$ देख https://en.m.wikipedia.org/wiki/Partition_function_(mathematics)#Expectation_values
ज़्यादा सामान्य
वितरण को इसके द्वारा वर्णित करें:
$$f(x,\theta) \propto e^{g(x,\theta)}$$
या एक कारक के साथ $z(\theta) = \int e^{g(x,\theta)} dx $ इसे सामान्य करने के लिए
$$f(x,\theta) = \frac{e^{g(x,\theta)}}{\int e^{g(x,\theta)} dx} = \frac{e^{g(x,\theta)}}{z(\theta)}$$
फिर हमारे पास (जहां प्रधान है) $'$ से भिन्नता को दर्शाता है $\theta$)
$$\begin{array}{}\frac{\partial}{\partial \theta} \log \left[ f(x,\theta) \right] &=& \log \left[ f(x,\theta) \right]' & =& \frac{f'(x,\theta)}{f(x,\theta)}\\ &&&=& \frac{\left(-z'(\theta)/z(\theta)^2 + g'(x,\theta)/ z(\theta) \right) \, e^{g(x,\theta)}} { e^{g(x,\theta)}/z(\theta)}\\ &&&=& \frac{-z'(\theta)}{z(\theta)} + g'(x,\theta) \end{array}$$
और अब सवाल यह है कि क्या
$$\frac{z'(\theta)}{z(\theta)} = E\left[ g'(x,\theta) \right]$$
अगर हम व्यक्त कर सकते हैं
$$z'(\theta) = \frac{\partial}{\partial \theta} \int e^{g(x,\theta)} dx = \int \frac{\partial}{\partial \theta} e^{g(x,\theta)} dx = \int g'(x,\theta) e^{g(x,\theta)} dx$$
फिर
$$\frac{z'(\theta)}{z(\theta)} = \frac{\int g'(x,\theta) e^{g(x,\theta)} dx}{\int e^{g(x,\theta)} dx} = E\left[ g'(x,\theta) \right]$$
एक समान व्युत्पत्ति, प्रतिपादक के बिना अधिक प्रत्यक्ष यहाँ है: https://en.wikipedia.org/wiki/Score_(statistics)#Mean
आपके द्वारा पहचानी जाने वाली पहचान पूरी तरह से सामान्य हैं और वास्तव में अच्छी तरह से ज्ञात हैं। वे किसी भी संभावना फ़ंक्शन पर लागू होते हैं बशर्ते कि लॉग-लाइबिलिटी दो बार लगातार भिन्न हो और वितरण का समर्थन निर्भर नहीं करता है$\theta$। एक घातीय परिवार या घातीय फैलाव मॉडल या इसके बारे में कुछ भी मानने की आवश्यकता नहीं है$\mu$।
अगर $f(y;\theta)$ संभावना घनत्व समारोह है, तो परिभाषा से यह संतुष्ट करता है $$\int f(y;\theta)dy=1$$ लॉग-लाइक फ़ंक्शन के संदर्भ में यह लिखना $L(\theta;y)=\log f(y;\theta)$ देता है $$\int \exp L(\theta;y)dy=1$$ सम्मान के साथ दोनों पक्षों में अंतर करना $\theta$ देता है $$\int \frac{\partial L}{\partial\theta}\exp L(\theta;y)dy=0$$ जो पहली पहचान है $$E\left(\frac{\partial L}{\partial\theta}\right)=0.$$
दूसरी बार दोनों पक्षों को अलग करने से दूसरी पहचान मिलती है।