Projekcja a efekty stałe
Przypuśćmy, że tak $n$ obserwacja indeksowana przez $i$ i że każda obserwacja jest częścią grupy $g$. Chcę porównać dwie regresje.
Pierwsza regresja: $$ Y_i=\beta X_i + \alpha F_{g(i)}+\varepsilon_i $$ gdzie $F$ to zestaw stałych efektów grupowych.
Druga regresja: $$ Y_i=\beta \hat{X}_i +\varepsilon_i $$ gdzie $\hat{X}$ jest resztą z regresji $$ X_i = \alpha F_{g(i)} + \varepsilon^0_i $$ to znaczy $\hat{X}_i = X_i - \hat{\alpha}F_{g(i)}$.
Czy obie regresje są równoważne? To znaczy oszacowanie punktowe, błąd standardowy itp. Z$\beta$ to samo w obu regresjach?
Intuicyjnie wydaje się, że oba powinny być takie same (stałe efekty pochłaniają zmienność spowodowaną grupami). Ale chciałbym uzyskać formalny dowód tego wyniku. Wielkie dzięki!
Odpowiedzi
Dwie regresje dają liczbowo równoważne oszacowania $\beta$, ale nie prowadzą do tych samych przewidywanych wartości wyniku, ani nie mają takich samych reszt. Błędy standardowe są również identyczne (dowód pominięty, ale wystarczający do wykazania, że szacunki są identyczne).
Dowód (wynika to ściśle z Davidsona i McKinnona rozdz. 2.4 na temat twierdzenia FWL):
Użyję $P_Z = Z(Z^TZ)^{-1}Z^T$ oznaczać macierz projekcji Z i $M_Z = I - P_Z$ jako macierz anihilatora Z, to znaczy macierz, która rzutuje zmienne do podprzestrzeni ortogonalnej do liniowej podprzestrzeni rozpiętej przez $Z$, dla dowolnej macierzy $Z$
Zawsze możemy zdekomponować dowolny wynik na część w podprzestrzeni obejmowaną przez zbiór zmiennych, w tym przypadku kolumny $Z = [X,F_{g}]$ i część rozpiętą przez dopełnienie ortogonalne.
\begin{align} Y &= P_ZY + M_ZY\\ &= X\hat{\beta} + F_{g}\hat{\alpha} + M_ZY \end{align}
Gdzie z definicji $\hat{\beta}$ i $\hat{\alpha}$ to wektory, które minimalizują odległość między $Y$ i podprzestrzeń liniową rozpiętą przez $[X,F_{g}]$ jak w przypadku cofania Y na X i $F_g$
Teraz
\begin{align} Y &= X\hat{\beta} + F_{g}\hat{\alpha} + M_ZY\\ M_FY &= M_FX\hat{\beta} + M_FF_{g}\hat{\alpha} + M_FM_ZY\\ M_FY &= M_FX\hat{\beta} + M_ZY\\ X^TM_FY &= X^TM_FX\hat{\beta} + X^TM_ZY\\ X^TM_FY &= X^TM_FX\hat{\beta}\\ (X^TM_FY)^{-1}(X^TM_FX) &= \hat{\beta} \end{align} Gdzie wiersz 2 wynika z tego $M_FF = (I-P_F)F = F-P_XF = F- F = 0$, wektor zerowy i $M_FM_Z = M_Z$ od $X \subset Z = [X, F_{g}]$ (Intuicyjnie, wszystko prostopadłe do Z musi już być ortogonalne do F, więc operator odwzorowałby wszystko w tej przestrzeni na siebie).
W ten sposób wyprowadziliśmy estymator $\hat{\beta}$ z regresji wielorakiej Y na X i $F_g$.
Rozważmy teraz dwustopniowy estymator, który opisałeś. W moim zapisie$\hat{X} = X - F_g\hat{\gamma} = X - F_g(F_g^TF_g)^{-1}F_g^TX = X - P_FX = M_FX$, gdzie $\hat{\gamma} = (F_g^TF_g)^{-1}F_g^TX$ jest estymatorem współczynnika z regresji $X$ na $F_g$ używając standardowej formuły (tj $(X^TX)^{-1}X^TY$, do regresji $Y$ na $X$.).
Rozważmy teraz regresję $Y$ na $M_FX$, jest to prosta regresja i możemy ponownie użyć znanego rozwiązania OLS
\begin{align} \hat{\beta^{2 stage}} &= ((M_FX)^TM_FX)^{-1}(M_FX)^TY\\ &= (X^TM_FM_FX)^{-1}X^TM_FY\\ &= (X^TM_FX)^{-1}X^TM_FY\\ &= \hat{\beta} \end{align}
Gdzie to wynika z właściwości symetrii i idempotencji, którymi cieszą się macierze rzutów ortogonalnych. Widzimy więc, że współczynniki są takie same. Jednak przewidywane wartości Y nie są. Pozwolić$\hat{y}$ być przewidywanymi wartościami z pierwszej regresji i $\hat{y^{2stage}}$ prognozy z dwuetapowego precedensu.
\begin{align} \hat{y} &= X\hat{\beta} + F_g\hat{\alpha}\\ &= X(X^TM_FX)^{-1}X^TM_FY + F_g(F_g^TM_XF_g)^{-1}F_g^TM_XY \end{align}
i \begin{align} \hat{y^{2stage}} &= M_FX\hat{\beta^{2stage}}\\ &= M_FX(X^TM_FX)^{-1}X^TM_FY \end{align}
To nie to samo, podobnie można pokazać, że reszty nie są takie same. W Ch. 2.4 Davidsona i McKinnona pokazują, że jeśli twoja dwustopniowa regresja obejmowała nie tylko rzutowanie liniowej kombinacji$F_g$ poza $X$, ale też zrobiłem to samo dla $Y$ a następnie cofnąć resztę na siebie, tj. cofnąć się $M_FY$ na $M_FX$, współczynniki dla X będą takie same jak oryginał, a reszty będą równoważne liczbowo. Przewidywane wartości nadal nie będą generalnie równe.