Yに指数型分布族がある場合は、 $E(\frac{\partial L}{\partial \theta}) = 0$
私は、一般化線形モデルで今学期を受講するコースの準備をするために、自習形式で作業しています。問題は、Y確率変数が指数型分布族に属していることを考えると、次のことを示しています。$$ E(\frac{\partial L}{\partial \theta}) = 0 $$
$$ E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2) $$
私はこの種の運動に少し錆びていますが、これは私がこれまでに管理してきたことです。
最初の部分では、区別するのは簡単です $L(\theta)$、 どこ $L$対数尤度です。私が使用している指数型分布族の正確なパラメーター化は（治療$\phi$ 知られているように）以下：
$$ f(y; \theta, \phi) = exp[\phi(y\theta - b(\theta)) + c(y;\phi)] $$
そして $Y$ によって配布される確率変数です $f$。
到着できます $\frac{\partial L}{\partial \theta} = \phi y - \phi b'(\theta)$ （機能 $b$ そして $c$微分可能です）。しかし、それを結論付けるために$E(\frac{\partial L}{\partial \theta}) = 0$ 私はそれを仮定する必要があります $b'(\theta) = E(Y) = \mu$期待値の特性を利用して、それを完全に排除できるようにします。そもそもこの仮定がないので、浮気をしているような気がします。
計算 $E(Y) = \int_{\mathbb{R}}yf(y)dy$ うまく機能しません。
2番目の部分も私が計算しなければならないことで最高潮に達します $E(b''(\theta))$ 同じように。
McCullaghとNelderの本[1]で、彼らは関係を述べています $E(\frac{\partial L}{\partial \theta}) = 0$ そして $E(\frac{\partial^2 L}{\partial \theta^2}) = -E((\frac{\partial L}{\partial \theta})^2)$ よく知られている（p。28）そしてそれを使って確立する $E(Y)$、だから私が証明しようとしている結果は明らかに先行している $E(Y)$ 計算。
1：一般化線形モデル、第2版P.マックラーと。JAネルダー（1989）
回答
しかし、それを結論付けるために $E(\frac{\partial L}{\partial \theta}) = 0$ 私はそれを仮定する必要があります $b'(\theta) = E(Y) = \mu$期待値の特性を利用して、それを完全に排除できるようにします。そもそもこの仮定がないので、浮気をしているような気がします。
$b(\theta)$ は対数分配関数であり、その派生物は次の瞬間に関連しています。 $y$。
との関係について $\mu$ 見る https://en.m.wikipedia.org/wiki/Partition_function_(mathematics)#Expectation_values
より一般的な
分布を次のように記述します。
$$f(x,\theta) \propto e^{g(x,\theta)}$$
または要因で $z(\theta) = \int e^{g(x,\theta)} dx $ それを正規化する
$$f(x,\theta) = \frac{e^{g(x,\theta)}}{\int e^{g(x,\theta)} dx} = \frac{e^{g(x,\theta)}}{z(\theta)}$$
次に、（プライムが $'$ の差別化を示します $\theta$）
$$\begin{array}{}\frac{\partial}{\partial \theta} \log \left[ f(x,\theta) \right] &=& \log \left[ f(x,\theta) \right]' & =& \frac{f'(x,\theta)}{f(x,\theta)}\\ &&&=& \frac{\left(-z'(\theta)/z(\theta)^2 + g'(x,\theta)/ z(\theta) \right) \, e^{g(x,\theta)}} { e^{g(x,\theta)}/z(\theta)}\\ &&&=& \frac{-z'(\theta)}{z(\theta)} + g'(x,\theta) \end{array}$$
そして今、問題は
$$\frac{z'(\theta)}{z(\theta)} = E\left[ g'(x,\theta) \right]$$
表現できれば
$$z'(\theta) = \frac{\partial}{\partial \theta} \int e^{g(x,\theta)} dx = \int \frac{\partial}{\partial \theta} e^{g(x,\theta)} dx = \int g'(x,\theta) e^{g(x,\theta)} dx$$
その後
$$\frac{z'(\theta)}{z(\theta)} = \frac{\int g'(x,\theta) e^{g(x,\theta)} dx}{\int e^{g(x,\theta)} dx} = E\left[ g'(x,\theta) \right]$$
同様の導出、指数なしのより直接的なものはここにあります： https://en.wikipedia.org/wiki/Score_(statistics)#Mean
あなたが述べるアイデンティティは完全に一般的であり、確かによく知られています。これらは、対数尤度が2回連続的に微分可能であり、分布のサポートが依存しない場合に限り、任意の尤度関数に適用されます。$\theta$。指数型分布族や指数分散モデルなどを想定する必要はありません。$\mu$。
場合 $f(y;\theta)$ は確率密度関数であり、定義上、 $$\int f(y;\theta)dy=1$$ 対数尤度関数の観点からこれを書く $L(\theta;y)=\log f(y;\theta)$ 与える $$\int \exp L(\theta;y)dy=1$$ に関して両側を区別する $\theta$ 与える $$\int \frac{\partial L}{\partial\theta}\exp L(\theta;y)dy=0$$ これが最初のアイデンティティです $$E\left(\frac{\partial L}{\partial\theta}\right)=0.$$
両側をもう一度区別すると、2番目のアイデンティティが得られます。