Y üstel bir aile dağılımına sahipse şunu gösterin: $E(\frac{\partial L}{\partial \theta}) = 0$
Bu dönem genelleştirilmiş doğrusal modellerde alacağım bir ders için kendi kendine çalışma tarzında çalışıyorum. Soru, rastgele Y değişkeninin üstel aileye ait olduğu göz önüne alındığında, şunu göstermektir:$$ E(\frac{\partial L}{\partial \theta}) = 0 $$
$$ E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2) $$
Bu tür egzersizlerde biraz paslandım ama şimdiye kadar başardığım şey buydu.
İlk bölüm için ayırt etmek kolaydır $L(\theta)$, nerede $L$log olasılığıdır. Kullandığım üstel ailenin tam parametrizasyonu (işleme$\phi$ bilindiği gibi) aşağıdakiler:
$$ f(y; \theta, \phi) = exp[\phi(y\theta - b(\theta)) + c(y;\phi)] $$
Ve $Y$ tarafından dağıtılan rastgele değişkendir $f$.
Ulaşabilirim $\frac{\partial L}{\partial \theta} = \phi y - \phi b'(\theta)$ (fonksiyonlar $b$ ve $c$ayırt edilebilir). Ancak, şu sonuca varmak için$E(\frac{\partial L}{\partial \theta}) = 0$ Bunu varsaymam gerek $b'(\theta) = E(Y) = \mu$böylece beklentinin özelliklerini kullanabilirim ve tamamen ortadan kaldırabilirim. Ve ilk etapta bu varsayıma sahip olmadığım için hile yapıyormuşum gibi geliyor.
Hesaplanıyor $E(Y) = \int_{\mathbb{R}}yf(y)dy$ sadece iyi çalışmıyor.
İkinci kısım da hesaplamamla sonuçlanıyor $E(b''(\theta))$ aynı moda.
McCullagh ve Nelder'in kitabında [1], ilişkiler $E(\frac{\partial L}{\partial \theta}) = 0$ ve $E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2)$ iyi bilinir (s. 28) ve bunu $E(Y)$, bu yüzden kanıtlamaya çalıştığım sonuç görünüşe göre $E(Y)$ hesaplama.
1: Genelleştirilmiş Doğrusal Modeller, 2. baskı P. McCullagh ve. JA Nelder (1989)
Yanıtlar
Ancak, şu sonuca varmak için $E(\frac{\partial L}{\partial \theta}) = 0$ Bunu varsaymam gerek $b'(\theta) = E(Y) = \mu$böylece beklentinin özelliklerini kullanabilirim ve tamamen ortadan kaldırabilirim. Ve ilk etapta bu varsayıma sahip olmadığım için hile yapıyormuşum gibi geliyor.
$b(\theta)$ log bölümleme fonksiyonudur ve türevleri, $y$.
İle ilişki için $\mu$ görmek https://en.m.wikipedia.org/wiki/Partition_function_(mathematics)#Expectation_values
Daha genel
Dağılımın şu şekilde tanımlanmasına izin verin:
$$f(x,\theta) \propto e^{g(x,\theta)}$$
veya bir faktörle $z(\theta) = \int e^{g(x,\theta)} dx $ normalleştirmek için
$$f(x,\theta) = \frac{e^{g(x,\theta)}}{\int e^{g(x,\theta)} dx} = \frac{e^{g(x,\theta)}}{z(\theta)}$$
O zaman bizde (asal $'$ farklılaşmayı gösterir $\theta$)
$$\begin{array}{}\frac{\partial}{\partial \theta} \log \left[ f(x,\theta) \right] &=& \log \left[ f(x,\theta) \right]' & =& \frac{f'(x,\theta)}{f(x,\theta)}\\ &&&=& \frac{\left(-z'(\theta)/z(\theta)^2 + g'(x,\theta)/ z(\theta) \right) \, e^{g(x,\theta)}} { e^{g(x,\theta)}/z(\theta)}\\ &&&=& \frac{-z'(\theta)}{z(\theta)} + g'(x,\theta) \end{array}$$
Ve şimdi soru şu:
$$\frac{z'(\theta)}{z(\theta)} = E\left[ g'(x,\theta) \right]$$
Ifade edebilirsek
$$z'(\theta) = \frac{\partial}{\partial \theta} \int e^{g(x,\theta)} dx = \int \frac{\partial}{\partial \theta} e^{g(x,\theta)} dx = \int g'(x,\theta) e^{g(x,\theta)} dx$$
sonra
$$\frac{z'(\theta)}{z(\theta)} = \frac{\int g'(x,\theta) e^{g(x,\theta)} dx}{\int e^{g(x,\theta)} dx} = E\left[ g'(x,\theta) \right]$$
Üssüz daha doğrudan benzer bir türetme burada: https://en.wikipedia.org/wiki/Score_(statistics)#Mean
Bahsettiğiniz kimlikler tamamen geneldir ve gerçekten iyi bilinir. Log-olasılığının iki kez sürekli olarak farklılaştırılabilir olması ve dağıtımın desteğinin bağlı olmaması koşuluyla herhangi bir olasılık işlevi için geçerlidir$\theta$. Üstel bir aile veya üstel dağılım modeli veya bunlarla ilgili herhangi bir şey varsaymaya gerek yoktur.$\mu$.
Eğer $f(y;\theta)$ olasılık yoğunluk fonksiyonudur, tanım gereği tatmin eder $$\int f(y;\theta)dy=1$$ Bunu log-olabilirlik işlevi açısından yazmak $L(\theta;y)=\log f(y;\theta)$ verir $$\int \exp L(\theta;y)dy=1$$ Her iki tarafı da farklılaştırmak $\theta$ verir $$\int \frac{\partial L}{\partial\theta}\exp L(\theta;y)dy=0$$ hangisi ilk kimlik $$E\left(\frac{\partial L}{\partial\theta}\right)=0.$$
Her iki tarafı ikinci kez farklılaştırmak ikinci kimliği verir.