Projeção vs efeitos fixos
Suponha que eu tenha $n$ observação indexada por $i$ e que cada observação faz parte de um grupo $g$. Eu quero comparar duas regressões.
Primeira regressão: $$ Y_i=\beta X_i + \alpha F_{g(i)}+\varepsilon_i $$ Onde $F$ é um conjunto de efeitos fixos de grupo.
Segunda regressão: $$ Y_i=\beta \hat{X}_i +\varepsilon_i $$ Onde $\hat{X}$ é o resíduo da regressão $$ X_i = \alpha F_{g(i)} + \varepsilon^0_i $$ ie $\hat{X}_i = X_i - \hat{\alpha}F_{g(i)}$.
Ambas as regressões são equivalentes? Ou seja, são a estimativa pontual, o erro padrão, etc. de$\beta$ o mesmo em ambas as regressões?
Intuitivamente, parece que os dois devem ser iguais (os efeitos fixos absorvem a variação devida aos grupos). Mas eu gostaria de uma prova formal desse resultado. Muito Obrigado!
Respostas
As duas regressões produzem estimativas numericamente equivalentes de $\beta$, mas não conduzem aos mesmos valores previstos do resultado, nem compartilham os mesmos resíduos. Os erros padrão também são idênticos (prova omitida, mas suficiente para mostrar que as estimativas são idênticas).
Prova (segue de perto de Davidson e McKinnon Ch. 2.4 no teorema FWL):
usarei $P_Z = Z(Z^TZ)^{-1}Z^T$ para denotar a matriz de projeção de Z e $M_Z = I - P_Z$ como a matriz aniquiladora de Z, que é a matriz que projeta variáveis no subespaço ortogonal ao subespaço linear medido por $Z$, para matriz arbitrária $Z$
Podemos sempre decompor qualquer resultado na parte do subespaço abrangido por um conjunto de variáveis, neste caso as colunas $Z = [X,F_{g}]$ e a parte estendida pelo complemento ortogonal.
\begin{align} Y &= P_ZY + M_ZY\\ &= X\hat{\beta} + F_{g}\hat{\alpha} + M_ZY \end{align}
Onde por definição $\hat{\beta}$ e $\hat{\alpha}$ são os vetores que minimizam a distância entre $Y$ e o subespaço linear abrangido por $[X,F_{g}]$ como é o caso da regressão de Y em X e $F_g$
Agora
\begin{align} Y &= X\hat{\beta} + F_{g}\hat{\alpha} + M_ZY\\ M_FY &= M_FX\hat{\beta} + M_FF_{g}\hat{\alpha} + M_FM_ZY\\ M_FY &= M_FX\hat{\beta} + M_ZY\\ X^TM_FY &= X^TM_FX\hat{\beta} + X^TM_ZY\\ X^TM_FY &= X^TM_FX\hat{\beta}\\ (X^TM_FY)^{-1}(X^TM_FX) &= \hat{\beta} \end{align} Onde a linha 2 segue do fato de que $M_FF = (I-P_F)F = F-P_XF = F- F = 0$, o vetor zero e $M_FM_Z = M_Z$ Desde a $X \subset Z = [X, F_{g}]$ (Intuitivamente, qualquer coisa ortogonal a Z já deve ser ortogonal a F, de modo que o operador mapearia qualquer coisa naquele espaço para si mesmo).
Assim, derivamos o estimador $\hat{\beta}$ da regressão múltipla Y em X e $F_g$.
Agora considere o estimador de duas etapas que você descreveu. Na minha notação$\hat{X} = X - F_g\hat{\gamma} = X - F_g(F_g^TF_g)^{-1}F_g^TX = X - P_FX = M_FX$, Onde $\hat{\gamma} = (F_g^TF_g)^{-1}F_g^TX$ é o estimador de coeficiente de regressão de $X$ em $F_g$ usando a fórmula padrão (ou seja, $(X^TX)^{-1}X^TY$, para regredir $Y$ em $X$.).
Agora considere a regressão de $Y$ em $M_FX$, esta é uma regressão simples e podemos novamente usar a solução OLS familiar
\begin{align} \hat{\beta^{2 stage}} &= ((M_FX)^TM_FX)^{-1}(M_FX)^TY\\ &= (X^TM_FM_FX)^{-1}X^TM_FY\\ &= (X^TM_FX)^{-1}X^TM_FY\\ &= \hat{\beta} \end{align}
Onde isso decorre das propriedades de simetria e idempotência que as matrizes de projeção ortogonal desfrutam. Portanto, vemos que os coeficientes são os mesmos. No entanto, os valores previstos de Y não são. Deixei$\hat{y}$ ser os valores previstos da primeira regressão e $\hat{y^{2stage}}$ as previsões dos dois estágios precedentes.
\begin{align} \hat{y} &= X\hat{\beta} + F_g\hat{\alpha}\\ &= X(X^TM_FX)^{-1}X^TM_FY + F_g(F_g^TM_XF_g)^{-1}F_g^TM_XY \end{align}
e \begin{align} \hat{y^{2stage}} &= M_FX\hat{\beta^{2stage}}\\ &= M_FX(X^TM_FX)^{-1}X^TM_FY \end{align}
Estes não são iguais, da mesma forma pode-se mostrar que os resíduos não são os mesmos em geral. Polegada. 2.4 de Davidson e McKinnon eles mostram que se a sua regressão de dois estágios envolvesse não apenas projetar uma combinação linear de$F_g$ fora de $X$, mas também fez o mesmo por $Y$ e, em seguida, regredir o resíduo entre si, ou seja, regredir $M_FY$ em $M_FX$, os coeficientes para X serão iguais ao original e os resíduos serão numericamente equivalentes. Os valores previstos ainda não serão iguais em geral.