OLS regresyonunda sıfır koşullu hata beklentisi
Bağımlı bir değişkenimiz olduğunu varsayalım $Y$ ve bağımsız bir değişken $X$ bir popülasyonda ve doğrusal modeli tahmin etmek istiyoruz $$ Y = \beta_{0} + \beta_{1}X + \varepsilon $$ En küçük kareler yöntemini kullanarak tahminler elde ederiz $\hat{\beta_{0}}$ ve $\hat{\beta_{1}}$ve böylece bu popülasyonun bir örneğinde, her biri için $i$ örnekte $$ y_{i} = \hat{\beta_{0}} + \hat{\beta_{1}}x_{i} + e_{i} $$ nerede $e_{i}$ kalıntı gözlemle ilişkili mi $i$. Şimdi, buradaki temel varsayımlardan biri şudur:$e_{i}$ verilen $X$ normaldir ve $$ \mathbb{E}(e_{i}|X) = 0 $$ Nasıl olduğunu tam olarak anlamıyorum $e_{i}$rastgele değişken olarak bakılabilir verilen An$X$. Rastgele değişken tam olarak nedir$e_{i}$, yani hangi farklı değerleri üstlenebilir? Verilen tahminler$\hat{\beta_{0}}$ ve $\hat{\beta_{1}}$ ve bir değer $X$bana öyle geliyor ki $e_{i}$sadece sınırlı sayıda sabit değer alın (1 bile olabilir); öyleyse hangi anlamda rastgele bir değişken olarak görülüyor?
Alternatif olarak, "rastgelelik" $e_{i}$regresyon katsayılarının farklı tahminleriyle ilişkili hata terimlerini dikkate aldığımız için mi geliyor? Başka bir deyişle, sıfır koşullu hata beklentisi, verilen$X = x$, içeren popülasyonun farklı örneklerini seçersek $x$ ve bu örneklerin her biri için en küçük kareler çizgisini tahmin ederek, $x$ ortalama olarak sıfır olmalıdır?
Yanıtlar
Regresörlerle tanımlanan artıklar rastgele değişkenler olarak kalırlar çünkü regresörler verilse bile onları sabitlere indirgemek mümkün değildir. Başka bir deyişle eğer varsa$x_i$ tahmini katsayılar verildiğinde, tahmin edilen değerleri elde edebilirsiniz $y$ ancak bu tahmin belirsizliğini koruyor.
Bununla birlikte, artık değerlerin tahmini katsayılarla bağlantılı olma hakkına sahipsiniz.
Şimdi yazdığınız koşulun $E[e_i|X]=0$yanlıştır çünkü kalıntılar üzerine yazılmıştır. Artıkların ve hataların anlamını birleştirmenizden korkuyorum. Bu problem yaygın ve çok tehlikelidir.
Gösteriminizin ardından durum şöyle olmalıdır: $E[\epsilon_i|X]=0$ve biz gerçek modeli yorumlamak yalnızca onun mantıklı yapısal denklemi ve değil gibi bir şey olarak nüfus regresyon (sık kullanılan lineer sorunuzu modeli, çok genel ve belirsiz isim hakkında konuşmak). Bu tür yanlış anlaşılmalar, öğrenciler arasında ve edebiyatta da birçok sorun yaratmıştır.
Bu gönderiler size ve diğer okuyuculara yardımcı olabilir:
İçselliğin gerçek tanımı nedir?
Eşcinsellik, regresör değişkenleri ile hataların ilintisiz olduğu anlamına mı gelir?
Korelasyon testi kullanarak içsellik testi
Regresyonun popülasyon parametreleri
Bazı karışıklıklar arasındaki farkla ilgili $e$ ve $\epsilon$ve bu, yorumlarda ve diğer cevaplarda yeterince ele alınmış gibi görünüyor. Ancak, OP tarafından ifade edilen ek kafa karışıklığı, bu bağlamda rastgeleliğin doğası ve bunun anlamı ile ilgili konu ile ilgilidir.$E(\epsilon | X)$. İşte bu sorunları açıklığa kavuşturan bir cevap.
Klasik bir örnek düşünün: $Y$ = oğlunun yetişkin boyu, $X$= babanın yetişkin boyu. Varsayalım$E(Y | X = x) = \beta_0 + \beta_1 x$doğru. Bu, verilerin nasıl görünebileceğine dair bir model olduğu için, verilerin nerede / ne zaman / nasıl toplanacağına dair kavramsal bir çerçeveye ihtiyacımız var. Somutluk adına, bugün dünyada yaşayan, bu insan spektrumunu makul ölçüde temsil eden "tipik" bir insan örneğinden bahsettiğimizi varsayalım.
"Rastgelelik" sorusu, en iyi, gerçek verilerle ilgisi olmayan bir şey olarak anlaşılabilir; bunun yerine kavramsal veri toplama çerçevesi için "potansiyel olarak gözlemlenebilir veriler" açısından anlaşılabilir. Boyu 180 cm olan, ancak örnekleme çerçevesinde başka türlü genel olan belirli bir baba göz önüne alındığında, potansiyel olarak gözlemlenebilir oğlunun boylarının bir dağılımı söz konusudur . Böylece$Y$ ifadede $Y | X = 180$ potansiyel olarak gözlemlenebilir değerlerin bazı olasılık dağılımına sahip olan bu aşamada "rastgele" olarak tanımlanabilir.
(Dünyanın "nüfusunun" bu bağlamda alakasız olduğuna dikkat edin - bunun yerine, regresyon modeli bugün dünyadaki insanların yüksekliklerini kendileri olarak görür, ancak bu belirli noktada var olabilecek olası yüksekliklerin birçok olası farkından biri olarak görür . "Nüfus" çerçevesinin bir anlam ifade etmemesinin bir nedeni, nüfusta koşullu nüfus dağılımlarını inşa edecek hiçbir verinin olmamasıdır: Gezegendeki kaç babanın boyu 79.9999999 ........... arasındadır. 9 ve 80.0000 .......... 1 santimetre? "..." nin yeterince uzun süre devam etmesine izin verirseniz cevap "yok" olur.)
Şimdi, $\epsilon = Y - (\beta_0 + \beta_1 x)$potansiyel olarak gözlemlenebilir (rastgele) arasındaki fark budur $Y$ ve potansiyel olarak gözlemlenebilir bu türden dağılımın ortalaması $Y$ verilen için $x$. "Rastgelelik"$\epsilon$ "rastgelelik" ten miras alınır $Y$ (koşullu ortalama $\beta_0 + \beta_1 x$, zihinde belirsiz olmakla birlikte, bu bağlamda bilimsel olarak sabitlenmiştir).
Durumu anlamak için $E(\epsilon | X=x) = 0$tekrar düşün $X=180$. Buraya,$\epsilon$ potansiyel olarak gözlemlenebilir bir sapma $Y$ hangisi için $X=180$, tüm bu tür potansiyel olarak gözlemlenebilir durumların ortalamasından $Y$. Tüm bunların anlamı$\epsilon$'s 0'dır, çünkü tüm bu türlerin ortalaması $Y$'s $\beta_0 + \beta_1 (180)$.
Bu arada, varsayım $E(\epsilon | X=x) = 0 $ burada gerekli değildir: daha sezgisel varsayımın matematiksel bir sonucudur $E(Y | X = x) = \beta_0 + \beta_1 x$, kısaca regresyon ortalama fonksiyonunun doğru modellendiğini belirtir.