Deriving Logit Maximum Likelihood Estimator

Question

Secondo Verbeek, possiamo ottenere il modello logit semplificando la condizione del primo ordine della funzione log-verosimiglianza. Dove, 

$$logL(\beta) = \Sigma^N_{i=1} y_i logF(x^{'}_i\beta)+ \Sigma^N_{i=1}(1-y_i)log(1-F(x^{'}_i\beta))$$

e la condizione del primo ordine è:

$$\frac{{\partial L(\beta)}}{{\partial \beta}} = \Sigma^{N}_{i=1} [\frac{{y_i-F(x^{'}_i\beta)}}{{F(x^{'}_i\beta)(1-F(x^{'}_i\beta))}} f(x^{'}_i\beta)]x_i=0$$ 

dove F è una funzione di distribuzione ef = F '(la derivata della funzione di distribuzione)

E otteniamo, $$\frac{{\partial L(\beta)}}{{\partial \beta}} = \Sigma^{N}_{i=1} [y_i -\frac{{exp(x^{'}_i\beta)}}{{1+exp(x^{'}_i\beta))}}]x_i=0$$ 

Tuttavia, non capisco come questo sia semplificato e non sono sicuro di come venga risolta la condizione del primo ordine, è un'applicazione della regola della catena?

Grazie.

Answer 1

La condizione generale del primo ordine è un'applicazione della regola della catena e della definizione che

$$f(\eta) := \frac{\partial F(\eta)}{\partial \eta}$$

Un buon punto di partenza è la seguente espressione $$l_i(\eta) := y_i \log F(\eta) + (1-y_i) \log (1-F(\eta)),$$ che è più semplice della verosimiglianza perché ignoriamo la somma e perché ignoriamo $x_i'\beta$. Quindi differenziare semplicemente rispetto a$\eta$ ottenere

$$y_i \frac{f(\eta)}{F(\eta)} - (1-y_i) \frac{f(\eta)}{1-F(\eta)},$$ fattore di isolamento $f(\eta)$ e moltiplica il termine $f(\eta)/F(\eta)$ con $1-F(\eta)$ in numeratore e denominatore e moltiplicare la frazione $f(\eta)/(1-F(\eta))$ con $F(\eta)$al numeratore e al denominatore. Questo ti prende

$$f(\eta) \left[ \frac{y_i(1-F)}{F(1-F)} - \frac{(1-y_i)F}{F(1-F)}\right]$$ moltiplicare per numeratori e ottenere l'espressione

$$f(\eta) \left[ \frac{y_i-F(\eta)}{F(\eta)(1-F(\eta))}\right] = \frac{\partial l_i(\eta)}{\partial \eta} \ \ (1),$$

ora hai differenziato con successo l'individuo $i$'esimo contributo della verosimiglianza rispetto a $\eta$.

quando $\eta = x'\beta$ - come nel caso attuale - e vuoi differenziarti rispetto a $\beta$ segue dalla regola della catena che

$$\frac{\partial l_i (x_i'\beta)}{\partial \beta} = \frac{\partial l_i(\eta)}{\partial \eta} \frac{\partial \eta}{\partial \beta} = \frac{ \partial l_i(\eta)}{\partial \eta} x_i,$$ quindi combinalo semplicemente con (1) e inserisci $\eta = x_i'\beta$ per ottenere la condizione generale del primo ordine

$$(2)\ \ \ x_i f(x_i'\beta) \left[ \frac{y_i-F(x_i'\beta)}{F(x_i'\beta)(1-F(x_i'\beta))}\right] $$

Ora sotto lo specifico presupposto che

$$F(\eta) = \frac{\exp(\eta)}{1+\exp(\eta)},$$

ne consegue che

$$f(\eta) = \frac{\partial F(\eta)}{\partial \eta} = \frac{\exp(\eta) (1+\exp(\eta)) - \exp(\eta) \exp(\eta)}{(1+\exp(\eta))^2},$$ quando leggi questo termine dovresti cercare le probabilità $Pr(y_i = 1) = F(\eta) = \exp(\eta)/(1+\exp(\eta))$ notare che questo semplifica a $$f(\eta) = \frac{\exp(\eta) (1+\exp(\eta)) - \exp(\eta) \exp(\eta)}{(1+\exp(\eta))^2} = F - F^2 = F(1-F).$$

Quando lo vedi $f = F(1-F)$ è facile vedere che (2) si riduce a

$$x_i (y_i-F(x_i'\beta)),$$ che è quello che volevi dato quello $F(x_i'\beta) = exp(x_i'\beta)/(1+\exp(x_i'\beta))$.