MLEの漸近正規性
適切な仮定の下で、 $$[I(\theta_0)]^{1/2}(\hat{\theta} - \theta) \xrightarrow{d} N(0, I_p),$$ どこ $\hat{\theta}$ の最尤推定量です $\theta$。 $I(\theta_0) = I(\theta)|_{\theta=\theta_0}$ そして $I(\theta)$ サンプル分布のフィッシャー情報量です。
私のクラスノートには「$I(\theta_0)$ に置き換えることができます $I(\hat{\theta}_0)$、Slutskyの定理によって正当化されます」。
私の質問は、Slutskyの定理がなぜそれを正当化するのかということです $$[I(\hat{\theta})]^{1/2}(\hat{\theta} - \theta) \xrightarrow{d} N(0, I_p)$$ 正しい?
それとも私たちはそれを仮定する必要がありますか $\hat{\theta}$ に収束します $\theta$ 確率で?
回答
スラツキーの定理、もし$X_n\overset{d}{\to}X$ そして $Y_n\overset{p}{\to}c$、 どこ $c$ は定数項であり、 $X_nY_n\overset{d}{\to}X c$。だからもし
- $[I_n(\theta)]^{1/2}(\hat{\theta}_n - \theta) \xrightarrow{d} N(0, I_p)$ なので $n\to\infty$、
- $[I_n(\hat\theta_n)]^{1/2}/[I_n(\theta)]^{1/2}\overset{p}{\to}1$ なので $n\to\infty$、
どこ $\theta$ 未知のパラメータです、 $n$ はサンプルサイズであり、 $\hat\theta_n$ はML推定量のシーケンスであり、 $$\frac{[I_n(\hat\theta_n)]^{1/2}}{[I_n(\theta)]^{1/2}}[I_n(\theta)]^{1/2}(\hat{\theta}_n - \theta) =[I_n(\hat\theta_n)]^{1/2}(\hat{\theta}_n - \theta)\overset{d}{\to} N(0,I_p)$$
これは、 $n$ が十分に大きい場合、MLEのサンプリング分布はほぼ正規分布です。
あなたはそれを示すことができます $[I(θ_0)]^{1/2}(\hat{θ}−θ_0)\overset{d}{\longrightarrow} N(0, I_p)$、その後 $\hat{\theta}\overset{P}{\longrightarrow} \theta_0$、したがって、この仮定は必要ありません。