Ekspektasi kesalahan bersyarat nol dalam regresi OLS
Misalkan kita memiliki variabel dependen $Y$ dan variabel independen $X$ dalam suatu populasi, dan kami ingin memperkirakan model linier $$ Y = \beta_{0} + \beta_{1}X + \varepsilon $$ Dengan menggunakan metode kuadrat terkecil, kami memperoleh perkiraan $\hat{\beta_{0}}$ dan $\hat{\beta_{1}}$, dan jadi dalam sampel populasi ini, kami memiliki masing-masing $i$ dalam sampel $$ y_{i} = \hat{\beta_{0}} + \hat{\beta_{1}}x_{i} + e_{i} $$ dimana $e_{i}$ adalah sisa yang terkait dengan observasi $i$. Sekarang, satu asumsi penting di sini adalah bahwa distribusi bersyarat$e_{i}$ diberi $X$ normal, dan $$ \mathbb{E}(e_{i}|X) = 0 $$ Saya tidak sepenuhnya mengerti caranya $e_{i}$dapat dipandang sebagai variabel acak diberikan sebuah$X$. Apa tepatnya variabel acak$e_{i}$, yaitu nilai-nilai berbeda apa yang dapat diambilnya? Diberikan perkiraan$\hat{\beta_{0}}$ dan $\hat{\beta_{1}}$ dan nilai $X$, menurut saya bahwa $e_{i}$ambil saja sejumlah nilai tetap yang terbatas (bahkan bisa 1); jadi dalam arti apa itu dilihat sebagai variabel acak?
Atau, lakukan "keacakan" di $e_{i}$datang karena kami menganggap istilah kesalahan terkait dengan perkiraan yang berbeda dari koefisien regresi? Dengan kata lain, apakah ekspektasi kesalahan bersyarat nol berarti yang diberikan$X = x$, jika kita memilih sampel yang berbeda dari populasi yang mengandung $x$ dan memperkirakan garis kuadrat terkecil untuk masing-masing sampel ini, kesalahan yang terkait dengan $x$ seharusnya, secara rata-rata, menjadi nol?
Jawaban
Sisa, ditentukan berdasarkan regressor, tetap menjadi variabel acak hanya karena, bahkan jika regressor diberikan, tidak mungkin untuk mereduksi mereka menjadi konstanta. Dengan kata lain jika sudah$x_i$ Anda dapat memperoleh, dengan perkiraan koefisien, nilai prediksi $y$ Namun prediksi ini mempertahankan ketidakpastiannya.
Namun Anda berhak bahwa nilai sisa dikaitkan dengan koefisien yang diperkirakan.
Sekarang Anda harus perhatikan kondisi yang Anda tulis $E[e_i|X]=0$salah karena tertulis pada residu. Saya khawatir Anda menyamakan arti dari sisa dan kesalahan. Masalah ini tersebar luas dan sangat berbahaya.
Mengikuti notasi Anda, kondisinya seharusnya $E[\epsilon_i|X]=0$dan ini masuk akal hanya jika kita menafsirkan model sebenarnya sebagai persamaan struktural dan bukan sebagai sesuatu seperti regresi populasi (Anda berbicara tentang model linier dalam pertanyaan Anda, nama yang terlalu umum dan ambigu yang sering digunakan). Kesalahpahaman seperti itu telah menghasilkan banyak masalah di kalangan siswa dan juga dalam sastra.
Posting tersebut dapat membantu Anda dan pembaca lainnya:
Apa definisi endogenitas yang sebenarnya?
Apakah homoskedastisitas menyiratkan bahwa variabel regressor dan kesalahan tidak berkorelasi?
Pengujian endogenitas menggunakan uji korelasi
Parameter populasi regresi
Beberapa kebingungan menganggap perbedaan antara $e$ dan $\epsilon$, dan itu sepertinya telah dibahas secara memadai di komentar dan jawaban lainnya. Tetapi kebingungan tambahan yang diungkapkan oleh OP menyangkut sifat keacakan itu sendiri dalam konteks ini, dan dalam masalah terkait tentang arti$E(\epsilon | X)$. Berikut adalah jawaban yang menjelaskan masalah ini.
Pertimbangkan contoh klasik: $Y$ = tinggi dewasa anak laki-laki, $X$= tinggi badan orang dewasa ayah. Seharusnya$E(Y | X = x) = \beta_0 + \beta_1 x$adalah benar. Karena ini adalah model bagaimana data mungkin muncul, kita memerlukan beberapa kerangka kerja konseptual tentang di mana / kapan / bagaimana data dikumpulkan. Anggaplah, demi konkretnya, kita berbicara tentang sampel "tipikal" orang yang hidup di dunia saat ini, sampel yang cukup mewakili spektrum manusia ini.
Pertanyaan tentang "keacakan" dapat dipahami dengan baik sebagai sesuatu yang tidak terkait dengan data aktual; yang sebaliknya dapat dipahami dalam istilah "data yang berpotensi dapat diamati" untuk kerangka pengumpulan data konseptual. Diketahui ayah tertentu yang tingginya 180 cm, tetapi sebaliknya generik dalam kerangka sampling, ada distribusi tinggi anak yang berpotensi dapat diamati . Jadi$Y$ dalam ekspresi $Y | X = 180$ dapat digambarkan sebagai "acak" pada tahap ini, memiliki beberapa distribusi probabilitas dari nilai yang berpotensi dapat diamati.
(Perhatikan bahwa "populasi" dunia tidak relevan dalam konteks ini - sebaliknya, model regresi memandang ketinggian orang di dunia saat ini sebagai diri mereka sendiri, tetapi salah satu dari banyak kemungkinan realisasi ketinggian yang mungkin ada pada titik khusus ini di waktu. Salah satu alasan kerangka "populasi" tidak masuk akal adalah bahwa tidak ada data dalam populasi yang dapat digunakan untuk menyusun distribusi bersyarat populasi: Berapa banyak ayah di planet ini yang memiliki tinggi antara 79.9999999 ........... 9 dan 80.0000 .......... 1 sentimeter? Jawabannya adalah "tidak ada" jika Anda membiarkan "..." berjalan cukup lama.)
Sekarang, $\epsilon = Y - (\beta_0 + \beta_1 x)$, yang merupakan perbedaan antara yang berpotensi dapat diamati (acak) $Y$ dan rata-rata distribusi yang berpotensi dapat diamati tersebut $Y$ untuk yang diberikan $x$. "Keacakan" dalam$\epsilon$ diwarisi dari "keacakan" di $Y$ (mean bersyarat $\beta_0 + \beta_1 x$, meski tidak pasti dalam pikiran, secara ilmiah ditetapkan dalam konteks ini).
Untuk memahami kondisinya $E(\epsilon | X=x) = 0$, pertimbangkan lagi $X=180$. Sini,$\epsilon$ adalah penyimpangan yang berpotensi dapat diamati $Y$ untuk itu $X=180$, dari rata-rata semua yang berpotensi diamati $Y$. Maksud dari semua itu$\epsilon$Itu adalah 0 justru karena mean dari semua itu $Y$adalah $\beta_0 + \beta_1 (180)$.
Ngomong-ngomong, asumsinya $E(\epsilon | X=x) = 0 $ tidak diperlukan di sini: ini adalah konsekuensi matematis dari asumsi yang lebih intuitif $E(Y | X = x) = \beta_0 + \beta_1 x$, yang hanya menyatakan bahwa fungsi rata-rata regresi dimodelkan dengan benar.