Projektion gegen feste Effekte

Question

Angenommen, ich habe $n$ Beobachtung indiziert durch $i$ und dass jede Beobachtung Teil einer Gruppe ist $g$. Ich möchte zwei Regressionen vergleichen.

Erste Regression: $$ Y_i=\beta X_i + \alpha F_{g(i)}+\varepsilon_i $$ wo $F$ ist eine Reihe von gruppenfesten Effekten.

Zweite Regression: $$ Y_i=\beta \hat{X}_i +\varepsilon_i $$ wo $\hat{X}$ ist der Rest aus der Regression $$ X_i = \alpha F_{g(i)} + \varepsilon^0_i $$ dh $\hat{X}_i = X_i - \hat{\alpha}F_{g(i)}$.

Sind beide Regressionen gleichwertig? Dh sind die Punktschätzung, der Standardfehler usw. von$\beta$ das gleiche in beiden Regressionen?

Es fühlt sich intuitiv so an, als ob beide gleich sein sollten (die festen Effekte absorbieren die Variation aufgrund der Gruppen). Aber ich möchte einen formellen Beweis für dieses Ergebnis. Danke vielmals!

Answer 1

Die beiden Regressionen ergeben numerisch äquivalente Schätzungen von $\beta$, führen aber nicht zu den gleichen vorhergesagten Werten des Ergebnisses, noch teilen sie die gleichen Residuen. Die Standardfehler sind ebenfalls identisch (Beweis nicht angegeben, aber ausreichend, um zu zeigen, dass die Schätzungen identisch sind).

Beweis (Dies folgt eng aus Davidson und McKinnon Ch. 2.4 zum FWL-Theorem):

ich werde benützen $P_Z = Z(Z^TZ)^{-1}Z^T$ um die Projektionsmatrix von Z und zu bezeichnen $M_Z = I - P_Z$ als Vernichtermatrix von Z ist dies die Matrix, die Variablen in den Unterraum projiziert, der orthogonal zu dem von überspannten linearen Unterraum ist $Z$für eine beliebige Matrix $Z$

Wir können jedes Ergebnis jederzeit in den Teil im Unterraum zerlegen, der von einer Reihe von Variablen, in diesem Fall den Spalten, überspannt wird $Z = [X,F_{g}]$ und der Teil, der von dem orthogonalen Komplement überspannt wird.

\begin{align} Y &= P_ZY + M_ZY\\ &= X\hat{\beta} + F_{g}\hat{\alpha} + M_ZY \end{align}

Wo per Definition $\hat{\beta}$ und $\hat{\alpha}$ sind die Vektoren, die den Abstand zwischen minimieren $Y$ und der lineare Unterraum überspannt von $[X,F_{g}]$ wie es bei der Regression von Y auf X und der Fall ist $F_g$

Jetzt

\begin{align} Y &= X\hat{\beta} + F_{g}\hat{\alpha} + M_ZY\\ M_FY &= M_FX\hat{\beta} + M_FF_{g}\hat{\alpha} + M_FM_ZY\\ M_FY &= M_FX\hat{\beta} + M_ZY\\ X^TM_FY &= X^TM_FX\hat{\beta} + X^TM_ZY\\ X^TM_FY &= X^TM_FX\hat{\beta}\\ (X^TM_FY)^{-1}(X^TM_FX) &= \hat{\beta} \end{align} Wobei Zeile 2 aus der Tatsache folgt, dass $M_FF = (I-P_F)F = F-P_XF = F- F = 0$, der Nullvektor und $M_FM_Z = M_Z$ schon seit $X \subset Z = [X, F_{g}]$ (Intuitiv muss alles, was orthogonal zu Z ist, bereits orthogonal zu F sein, damit der Bediener alles in diesem Raum auf sich selbst abbildet.)

Wir haben also den Schätzer abgeleitet $\hat{\beta}$ aus der multiplen Regression Y auf X und $F_g$.

Betrachten Sie nun den von Ihnen beschriebenen zweistufigen Schätzer. In meiner Notation$\hat{X} = X - F_g\hat{\gamma} = X - F_g(F_g^TF_g)^{-1}F_g^TX = X - P_FX = M_FX$, wo $\hat{\gamma} = (F_g^TF_g)^{-1}F_g^TX$ ist der Koeffizientenschätzer aus der Regression von $X$ auf $F_g$ unter Verwendung der Standardformel (dh $(X^TX)^{-1}X^TY$zum Rückschritt $Y$ auf $X$.).

Betrachten Sie nun die Regression von $Y$ auf $M_FX$Dies ist eine einfache Regression, und wir können wieder die bekannte OLS-Lösung verwenden

\begin{align} \hat{\beta^{2 stage}} &= ((M_FX)^TM_FX)^{-1}(M_FX)^TY\\ &= (X^TM_FM_FX)^{-1}X^TM_FY\\ &= (X^TM_FX)^{-1}X^TM_FY\\ &= \hat{\beta} \end{align}

Wo dies aus den Symmetrie- und Idempotenz-Eigenschaften folgt, die orthogonale Projektionsmatrizen genießen. Wir sehen also, dass die Koeffizienten gleich sind. Die vorhergesagten Werte von Y sind es jedoch nicht. Lassen$\hat{y}$ seien die vorhergesagten Werte aus der ersten Regression und $\hat{y^{2stage}}$ die Vorhersagen aus dem zweistufigen Verfahren.

\begin{align} \hat{y} &= X\hat{\beta} + F_g\hat{\alpha}\\ &= X(X^TM_FX)^{-1}X^TM_FY + F_g(F_g^TM_XF_g)^{-1}F_g^TM_XY \end{align}

und \begin{align} \hat{y^{2stage}} &= M_FX\hat{\beta^{2stage}}\\ &= M_FX(X^TM_FX)^{-1}X^TM_FY \end{align}

Diese sind nicht gleich, ähnlich kann man zeigen, dass die Residuen im Allgemeinen nicht gleich sind. In Kap. 2.4 von Davidson und McKinnon zeigen, dass, wenn Ihre zweistufige Regression nicht nur eine lineare Kombination von projiziert$F_g$ aus $X$, tat aber auch das gleiche für $Y$ und dann den Rest aufeinander zurückführen, dh zurückgehen $M_FY$ auf $M_FX$sind die Koeffizienten für X die gleichen wie das Original und die Residuen sind numerisch äquivalent. Die vorhergesagten Werte sind im Allgemeinen immer noch nicht gleich.