Ableiten des Logit Maximum Likelihood Estimator

Question

Laut Verbeek können wir das Logit-Modell erhalten, indem wir die Bedingung erster Ordnung der Log-Likelihood-Funktion vereinfachen. Wo, 

$$logL(\beta) = \Sigma^N_{i=1} y_i logF(x^{'}_i\beta)+ \Sigma^N_{i=1}(1-y_i)log(1-F(x^{'}_i\beta))$$

und die Bedingung erster Ordnung ist:

$$\frac{{\partial L(\beta)}}{{\partial \beta}} = \Sigma^{N}_{i=1} [\frac{{y_i-F(x^{'}_i\beta)}}{{F(x^{'}_i\beta)(1-F(x^{'}_i\beta))}} f(x^{'}_i\beta)]x_i=0$$ 

wobei F eine Verteilungsfunktion ist und f = F '(die Ableitung der Verteilungsfunktion)

Und wir erhalten, $$\frac{{\partial L(\beta)}}{{\partial \beta}} = \Sigma^{N}_{i=1} [y_i -\frac{{exp(x^{'}_i\beta)}}{{1+exp(x^{'}_i\beta))}}]x_i=0$$ 

Ich verstehe jedoch nicht, wie dies vereinfacht wird, und ich bin nicht sicher, wie die Bedingung erster Ordnung gelöst wird. Handelt es sich um eine Anwendung der Kettenregel?

Dankeschön.

Answer 1

Die allgemeine Bedingung erster Ordnung ist eine Anwendung der Kettenregel und der Definition, dass

$$f(\eta) := \frac{\partial F(\eta)}{\partial \eta}$$

Ein guter Anfang ist der folgende Ausdruck $$l_i(\eta) := y_i \log F(\eta) + (1-y_i) \log (1-F(\eta)),$$ Das ist einfacher als die Log-Wahrscheinlichkeit, weil wir die Summe ignorieren und weil wir ignorieren $x_i'\beta$. Dann einfach differenzieren in Bezug auf$\eta$ zu bekommen

$$y_i \frac{f(\eta)}{F(\eta)} - (1-y_i) \frac{f(\eta)}{1-F(\eta)},$$ Faktor isolieren $f(\eta)$ und multiplizieren Sie den Begriff $f(\eta)/F(\eta)$ mit $1-F(\eta)$ in Zähler und Nenner und Multiplikationsbruch $f(\eta)/(1-F(\eta))$ mit $F(\eta)$in Zähler und Nenner. Das bringt dich

$$f(\eta) \left[ \frac{y_i(1-F)}{F(1-F)} - \frac{(1-y_i)F}{F(1-F)}\right]$$ Multiplizieren Sie in Zählern und erhalten Sie den Ausdruck

$$f(\eta) \left[ \frac{y_i-F(\eta)}{F(\eta)(1-F(\eta))}\right] = \frac{\partial l_i(\eta)}{\partial \eta} \ \ (1),$$

Sie haben nun das Individuum erfolgreich differenziert $i$'th Beitrag der log-Wahrscheinlichkeit in Bezug auf $\eta$.

Wann $\eta = x'\beta$ - wie es im aktuellen Fall ist - und Sie möchten in Bezug auf unterscheiden $\beta$ es folgt durch Kettenregel, dass

$$\frac{\partial l_i (x_i'\beta)}{\partial \beta} = \frac{\partial l_i(\eta)}{\partial \eta} \frac{\partial \eta}{\partial \beta} = \frac{ \partial l_i(\eta)}{\partial \eta} x_i,$$ Kombinieren Sie dies einfach mit (1) und fügen Sie es ein $\eta = x_i'\beta$ um die allgemeine Bedingung erster Ordnung zu erhalten

$$(2)\ \ \ x_i f(x_i'\beta) \left[ \frac{y_i-F(x_i'\beta)}{F(x_i'\beta)(1-F(x_i'\beta))}\right] $$

Nun unter der konkreten Annahme, dass

$$F(\eta) = \frac{\exp(\eta)}{1+\exp(\eta)},$$

es folgt dem

$$f(\eta) = \frac{\partial F(\eta)}{\partial \eta} = \frac{\exp(\eta) (1+\exp(\eta)) - \exp(\eta) \exp(\eta)}{(1+\exp(\eta))^2},$$ Wenn Sie diesen Begriff lesen, sollten Sie nach den Wahrscheinlichkeiten suchen $Pr(y_i = 1) = F(\eta) = \exp(\eta)/(1+\exp(\eta))$ zu bemerken, dass dies vereinfacht $$f(\eta) = \frac{\exp(\eta) (1+\exp(\eta)) - \exp(\eta) \exp(\eta)}{(1+\exp(\eta))^2} = F - F^2 = F(1-F).$$

Wenn du das siehst $f = F(1-F)$ es ist leicht zu erkennen, dass (2) auf reduziert

$$x_i (y_i-F(x_i'\beta)),$$ Welches ist, was Sie angesichts dessen wollten $F(x_i'\beta) = exp(x_i'\beta)/(1+\exp(x_i'\beta))$.