Projection vs effets fixes
Supposons que j'ai $n$ observation indexée par $i$ et que chaque observation fait partie d'un groupe $g$. Je veux comparer deux régressions.
Première régression: $$ Y_i=\beta X_i + \alpha F_{g(i)}+\varepsilon_i $$ où $F$ est un ensemble d'effets fixes de groupe.
Deuxième régression: $$ Y_i=\beta \hat{X}_i +\varepsilon_i $$ où $\hat{X}$ est le résidu de la régression $$ X_i = \alpha F_{g(i)} + \varepsilon^0_i $$ c'est à dire $\hat{X}_i = X_i - \hat{\alpha}F_{g(i)}$.
Les deux régressions sont-elles équivalentes? Ie sont l'estimation ponctuelle, l'erreur standard, etc.$\beta$ la même chose dans les deux régressions?
On a l'impression intuitivement que les deux devraient être les mêmes (les effets fixes absorbent la variation due aux groupes). Mais j'aimerais une preuve formelle de ce résultat. Merci beaucoup!
Réponses
Les deux régressions produisent des estimations numériquement équivalentes de $\beta$, mais ne conduisent pas aux mêmes valeurs prédites du résultat, ni ne partagent les mêmes résidus. Les erreurs types sont également identiques (la preuve est omise mais suffisante pour montrer que les estimations sont identiques).
Preuve (Ceci suit de près de Davidson et McKinnon Ch.2.4 sur le théorème FWL):
j'utiliserai $P_Z = Z(Z^TZ)^{-1}Z^T$ pour désigner la matrice de projection de Z et $M_Z = I - P_Z$ comme matrice annihilatrice de Z, c'est-à-dire la matrice qui projette des variables dans le sous-espace orthogonal au sous-espace linéaire enjambé par $Z$, pour matrice arbitraire $Z$
Nous pouvons toujours décomposer n'importe quel résultat dans la partie du sous-espace couvert par un ensemble de variables, dans ce cas les colonnes $Z = [X,F_{g}]$ et la partie couverte par le complément orthogonal.
\begin{align} Y &= P_ZY + M_ZY\\ &= X\hat{\beta} + F_{g}\hat{\alpha} + M_ZY \end{align}
Où par définition $\hat{\beta}$ et $\hat{\alpha}$ sont les vecteurs qui minimisent la distance entre $Y$ et le sous-espace linéaire couvert par $[X,F_{g}]$ comme c'est le cas de la régression de Y sur X et $F_g$
Maintenant
\begin{align} Y &= X\hat{\beta} + F_{g}\hat{\alpha} + M_ZY\\ M_FY &= M_FX\hat{\beta} + M_FF_{g}\hat{\alpha} + M_FM_ZY\\ M_FY &= M_FX\hat{\beta} + M_ZY\\ X^TM_FY &= X^TM_FX\hat{\beta} + X^TM_ZY\\ X^TM_FY &= X^TM_FX\hat{\beta}\\ (X^TM_FY)^{-1}(X^TM_FX) &= \hat{\beta} \end{align} Où la ligne 2 découle du fait que $M_FF = (I-P_F)F = F-P_XF = F- F = 0$, le vecteur zéro et $M_FM_Z = M_Z$ depuis $X \subset Z = [X, F_{g}]$ (Intuitivement, tout ce qui est orthogonal à Z doit déjà être orthogonal à F, de sorte que l'opérateur mapperait tout ce qui se trouve dans cet espace à lui-même).
Nous avons ainsi dérivé l'estimateur $\hat{\beta}$ à partir de la régression multiple Y sur X et $F_g$.
Considérons maintenant l'estimateur en deux étapes que vous avez décrit. Dans ma notation$\hat{X} = X - F_g\hat{\gamma} = X - F_g(F_g^TF_g)^{-1}F_g^TX = X - P_FX = M_FX$, où $\hat{\gamma} = (F_g^TF_g)^{-1}F_g^TX$ est l'estimateur de coefficient de la régression de $X$ sur $F_g$ en utilisant la formule standard (ie $(X^TX)^{-1}X^TY$, pour régresser $Y$ sur $X$.).
Considérons maintenant la régression de $Y$ sur $M_FX$, il s'agit d'une simple régression et nous pouvons à nouveau utiliser la solution OLS familière
\begin{align} \hat{\beta^{2 stage}} &= ((M_FX)^TM_FX)^{-1}(M_FX)^TY\\ &= (X^TM_FM_FX)^{-1}X^TM_FY\\ &= (X^TM_FX)^{-1}X^TM_FY\\ &= \hat{\beta} \end{align}
Où cela découle des propriétés de symétrie et d'idempotence dont bénéficient les matrices de projection orthogonale. On voit donc que les coefficients sont les mêmes. Cependant, les valeurs prévues de Y ne le sont pas. Laisser$\hat{y}$ être les valeurs prédites de la première régression et $\hat{y^{2stage}}$ les prédictions de la préséance en deux étapes.
\begin{align} \hat{y} &= X\hat{\beta} + F_g\hat{\alpha}\\ &= X(X^TM_FX)^{-1}X^TM_FY + F_g(F_g^TM_XF_g)^{-1}F_g^TM_XY \end{align}
et \begin{align} \hat{y^{2stage}} &= M_FX\hat{\beta^{2stage}}\\ &= M_FX(X^TM_FX)^{-1}X^TM_FY \end{align}
Ce ne sont pas les mêmes, de même on peut montrer que les résidus ne sont pas les mêmes en général. Dans Ch. 2.4 de Davidson et McKinnon, ils montrent que si votre régression en deux étapes impliquait non seulement de projeter une combinaison linéaire de$F_g$ hors de $X$, mais a également fait de même pour $Y$ puis régresser le résidu l'un sur l'autre, c'est-à-dire régresser $M_FY$ sur $M_FX$, les coefficients pour X seront les mêmes que l'original et les résidus seront numériquement équivalents. Les valeurs prédites ne seront toujours pas égales en général.