Prove que o MLE existe quase com certeza e é consistente

Question

Eu preciso mostrar que dada uma amostra de iid $X_1,\dots X_n$ decorrentes do modelo:

$$\{f(x,\theta)=\theta x^{\theta-1}exp\{-x^{\theta}\},x>0,\theta\in (0,\infty)\}$$

que o MLE existe com probabilidade um e é consistente.

Fui instruído a usar o seguinte lema (que eu provei):

1. Deixei $S_n$ ser uma sequência de funções contínuas de valor real aleatórias definidas em $\Theta$ tal que, como $n \xrightarrow{}\infty, S_n(\theta) \xrightarrow{P}S(\theta) \forall\theta \in \Theta$ Onde $S:\Theta \xrightarrow{} R$não é aleatório. Suponha que para alguns$\theta_0$ no interior de $\Theta$ e todo $\epsilon >0$ pequeno o suficiente nós temos $S(\theta_0 \pm \epsilon)<0<S(\theta_0 \mp \epsilon)$ e essa $S_n$tem exatamente um zero$\hat{\theta}_n$para todo número natural n. Então devemos ter$\hat{\theta}_n\xrightarrow{P} \theta_0$.

2. Eu também tive permissão para trocar a diferenciação $\frac{d}{d\theta}$ e integração dx sem justificativa.

Não estou inteiramente certo de como começar a provar a existência do MLE . Tentei calcular as verossimilhanças e manipular a derivada, mas sem sucesso.

Assumindo sua existência, pensei em deixar $S_n(\theta)=\frac{1}{n}\sum_{i=1}^n \frac{d}{d\theta}(log(f(X_i,\theta))$para que possamos usar a lei dos grandes números, mas isso não teve sucesso. Eu posso ver isso se eu puder encontrar$S_n$ e $S$ para corresponder às condições em 1. então a consistência seria imediata.

Qualquer ajuda seria apreciada

Answer 1

Existência como

Como @whuber diz, a pontuação $$ S_n(\theta) = \frac1n\sum_{i=1}^n \frac{\partial}{\partial \theta} \log f(x_i, \theta) = -\frac{1}{\theta^2} - \frac1n\sum_{i=1}^n x_i^{\theta} \log x_i + \frac1n\sum_{i=1}^n \log x_i $$ é uma função monotonicamente decrescente (calcule sua derivada) de modo que $$ \lim_{\theta \rightarrow 0^+} S_n(\theta) = \infty \mbox{ and } \lim_{\theta \rightarrow \infty} S_n(\theta) < 0. $$ Isso te diz $S_n(\theta)$ tem zero único, quase com certeza.

Consistência

Definir $S(\theta) = E_{\theta_0}[\frac{\partial}{\partial \theta} \log f(x, \theta)]$. Então, por LLN,$S_n(\theta) \stackrel{p}{\rightarrow} S(\theta)$.

Além disso, usando seu fato / suposição (2) de que a diferenciação e a expectativa comutam, $$ E_{\theta_0}[\frac{\partial}{\partial \theta_0} \log f(x, \theta_0)] = \int \frac{\partial}{\partial \theta_0} f(x, \theta_0) dx = \frac{d}{d \theta_0} \int f(x, \theta_0) dx = 0. $$ então $S$ tem um zero em $\theta_0$. Na verdade, esse zero é único. (Eu acredito que você precisa disso, a condição de continuidade em seu fato / suposição (1) é necessária, mas não suficiente.$S$ é contínua pelo Teorema da Convergência Dominada.)

então $S_n$ e $S$ caia em seu fato / suposição (1) e a consistência segue.