Proyeksi vs efek tetap
Misalkan saya punya $n$ observasi diindeks oleh $i$ dan bahwa setiap observasi adalah bagian dari kelompok $g$. Saya ingin membandingkan dua regresi.
Regresi pertama: $$ Y_i=\beta X_i + \alpha F_{g(i)}+\varepsilon_i $$ dimana $F$ adalah sekumpulan efek tetap grup.
Regresi kedua: $$ Y_i=\beta \hat{X}_i +\varepsilon_i $$ dimana $\hat{X}$ adalah sisa dari regresi $$ X_i = \alpha F_{g(i)} + \varepsilon^0_i $$ yaitu $\hat{X}_i = X_i - \hat{\alpha}F_{g(i)}$.
Apakah kedua regresi itu setara? Yaitu perkiraan titik, kesalahan standar, dll. Dari$\beta$ sama di kedua regresi?
Secara intuitif terasa seperti keduanya harus sama (efek tetap menyerap variasi karena kelompok). Tapi saya ingin bukti resmi dari hasil ini. Terimakasih banyak!
Jawaban
Kedua regresi tersebut menghasilkan perkiraan yang setara secara numerik $\beta$, tetapi tidak mengarah pada nilai prediksi yang sama dari hasil, juga tidak berbagi residual yang sama. Kesalahan standar juga identik (Bukti dihilangkan tetapi cukup untuk menunjukkan perkiraan identik).
Bukti (Ini mengikuti secara dekat dari Davidson dan McKinnon Bab 2.4 tentang teorema FWL):
saya akan gunakan $P_Z = Z(Z^TZ)^{-1}Z^T$ untuk menunjukkan matriks proyeksi Z dan $M_Z = I - P_Z$ sebagai matriks annihilator dari Z, yaitu matriks yang memproyeksikan variabel ke dalam subruang ortogonal ke subruang linier yang direntang oleh $Z$, untuk matriks arbitrer $Z$
Kami selalu dapat menguraikan hasil apa pun menjadi bagian di subruang yang direntang oleh sekumpulan variabel, dalam hal ini kolom $Z = [X,F_{g}]$ dan bagian yang direntang oleh pelengkap ortogonal.
\begin{align} Y &= P_ZY + M_ZY\\ &= X\hat{\beta} + F_{g}\hat{\alpha} + M_ZY \end{align}
Dimana menurut definisi $\hat{\beta}$ dan $\hat{\alpha}$ adalah vektor yang meminimalkan jarak antara $Y$ dan subruang linier yang direntang oleh $[X,F_{g}]$ seperti kasus regresi Y pada X dan $F_g$
Sekarang
\begin{align} Y &= X\hat{\beta} + F_{g}\hat{\alpha} + M_ZY\\ M_FY &= M_FX\hat{\beta} + M_FF_{g}\hat{\alpha} + M_FM_ZY\\ M_FY &= M_FX\hat{\beta} + M_ZY\\ X^TM_FY &= X^TM_FX\hat{\beta} + X^TM_ZY\\ X^TM_FY &= X^TM_FX\hat{\beta}\\ (X^TM_FY)^{-1}(X^TM_FX) &= \hat{\beta} \end{align} Dimana baris 2 mengikuti dari fakta itu $M_FF = (I-P_F)F = F-P_XF = F- F = 0$, vektor nol dan $M_FM_Z = M_Z$ sejak $X \subset Z = [X, F_{g}]$ (Secara intuitif, apa pun yang ortogonal ke Z harus sudah ortogonal ke F, jadi operator akan memetakan apa pun di ruang itu ke dirinya sendiri).
Dengan demikian kami telah menurunkan penduga $\hat{\beta}$ dari regresi berganda Y pada X dan $F_g$.
Sekarang pertimbangkan penduga dua langkah yang Anda jelaskan. Dalam notasi saya$\hat{X} = X - F_g\hat{\gamma} = X - F_g(F_g^TF_g)^{-1}F_g^TX = X - P_FX = M_FX$, dimana $\hat{\gamma} = (F_g^TF_g)^{-1}F_g^TX$ adalah penduga koefisien dari regresi $X$ di $F_g$ menggunakan rumus standar (mis $(X^TX)^{-1}X^TY$, untuk mundur $Y$ di $X$.).
Sekarang pertimbangkan regresi $Y$ di $M_FX$, ini adalah regresi sederhana dan kami dapat menggunakan solusi OLS yang sudah dikenal lagi
\begin{align} \hat{\beta^{2 stage}} &= ((M_FX)^TM_FX)^{-1}(M_FX)^TY\\ &= (X^TM_FM_FX)^{-1}X^TM_FY\\ &= (X^TM_FX)^{-1}X^TM_FY\\ &= \hat{\beta} \end{align}
Dimana ini mengikuti dari sifat simetri dan idempotensi yang dinikmati matriks proyeksi ortogonal. Jadi kita melihat bahwa koefisiennya sama. Namun, nilai prediksi Y tidak. Membiarkan$\hat{y}$ menjadi nilai prediksi dari regresi pertama dan $\hat{y^{2stage}}$ prediksi dari dua tahap sebelumnya.
\begin{align} \hat{y} &= X\hat{\beta} + F_g\hat{\alpha}\\ &= X(X^TM_FX)^{-1}X^TM_FY + F_g(F_g^TM_XF_g)^{-1}F_g^TM_XY \end{align}
dan \begin{align} \hat{y^{2stage}} &= M_FX\hat{\beta^{2stage}}\\ &= M_FX(X^TM_FX)^{-1}X^TM_FY \end{align}
Ini tidak sama, demikian pula orang dapat menunjukkan residu tidak sama secara umum. Dalam Ch. 2.4 Davidson dan McKinnon menunjukkan bahwa jika regresi dua tahap Anda melibatkan tidak hanya memproyeksikan kombinasi linier$F_g$ dari $X$, tetapi juga melakukan hal yang sama untuk $Y$ dan kemudian regresi sisa satu sama lain, yaitu regresi $M_FY$ di $M_FX$, koefisien untuk X akan sama dengan aslinya dan residunya akan ekuivalen secara numerik. Nilai yang diprediksi masih belum akan sama secara umum.