асимптотическая нормальность для MLE

Aug 18 2020

Предположим, что при подходящих предположениях $$[I(\theta_0)]^{1/2}(\hat{\theta} - \theta) \xrightarrow{d} N(0, I_p),$$ где $\hat{\theta}$ оценка максимального правдоподобия $\theta$. $I(\theta_0) = I(\theta)|_{\theta=\theta_0}$ и $I(\theta)$ информация о распределении выборки.

В моей записке говорится: "$I(\theta_0)$ можно заменить на $I(\hat{\theta}_0)$, оправданное теоремой Слуцкого ».

У меня вопрос, почему теорема Слуцкого оправдывает это так, что $$[I(\hat{\theta})]^{1/2}(\hat{\theta} - \theta) \xrightarrow{d} N(0, I_p)$$ верно?

Или мы должны предположить, что $\hat{\theta}$ сходится к $\theta$ в вероятности?

Ответы

1 Sergio Aug 18 2020 at 22:51

По теореме Слуцкого , если$X_n\overset{d}{\to}X$ и $Y_n\overset{p}{\to}c$, где $c$ постоянный член, то $X_nY_n\overset{d}{\to}X c$. Так что если

  • $[I_n(\theta)]^{1/2}(\hat{\theta}_n - \theta) \xrightarrow{d} N(0, I_p)$ так как $n\to\infty$,
  • $[I_n(\hat\theta_n)]^{1/2}/[I_n(\theta)]^{1/2}\overset{p}{\to}1$ так как $n\to\infty$,

где $\theta$ - неизвестный параметр, $n$ размер выборки, и $\hat\theta_n$ - последовательность оценок ML, то $$\frac{[I_n(\hat\theta_n)]^{1/2}}{[I_n(\theta)]^{1/2}}[I_n(\theta)]^{1/2}(\hat{\theta}_n - \theta) =[I_n(\hat\theta_n)]^{1/2}(\hat{\theta}_n - \theta)\overset{d}{\to} N(0,I_p)$$

Это означает, что когда $n$ достаточно велико, выборочное распределение MLE примерно нормальное.

1 Pohoua Aug 18 2020 at 15:55

Вы можете показать это, если $[I(θ_0)]^{1/2}(\hat{θ}−θ_0)\overset{d}{\longrightarrow} N(0, I_p)$, тогда $\hat{\theta}\overset{P}{\longrightarrow} \theta_0$, поэтому вам не нужно это предположение.