Beklenen değer biliniyor
Kolombiya'da bir tarım bilimi öğrencisiyim ve son zamanlarda Dunn ve Smyth'in R'de Örneklerle Genelleştirilmiş Doğrusal Modeller kitabından çalışıyorum . Tahmin edebileceğiniz gibi, temel istatistik teorisi hakkında pek iyi bir bilgim yok.
Kitapta, ikinci bölümde, yazarlar aşağıdaki gibi doğrusal regresyon modellerinin genel biçimini önermektedir:
Ve sonra "nerede $E[y_i] = \mu_i,$ ve önceki ağırlıklar $w_i$ biliniyor. " $E[y_i] = \mu_i$ beklenen değerdir.
Doğrusal bir regresyon çalıştırmaya çalışırken, biri bana bu değeri, beklenen değeri bildiğimizi neden veya nasıl bildiğimizi açıklayabilirse gerçekten mutlu olurum.
Ne sormaya çalıştığım konusunda yeterince net değilsem özür dilerim. Saygılarımla,
Rafael
Yanıtlar
Yazarların bilinen miktarlara atıfta bulunan her iki örneği de, standart özelliklerini korumak için standart doğrusal regresyon için gerekli olan varsayımlardır.
- Pozitif ağırlıklar biliniyor. Tipik olarak bir regresyon kitabı, standart OLS'nin hatanın homoskedastik olduğunu varsaydığını, yani her gözlemin kendine özgü varyansının tüm gözlemler için aynı olduğunu söyler. Yazarların gösteriminde bu şöyle olacaktır:
$$Var(y_i) = \sigma^2$$, ama şu şekilde yazardım: $$Var(y_i|x_i) = \sigma^2$$kendine özgü hatanın veriler üzerinde koşul olduğu gerçeğini vurgulamak. Eş değişkenlerden kaynaklanan hayır varyasyonudur.
Bu, bunun sunulmasının normal yoludur. O zaman tipik bir kitap, genellikle bu varsayımın ihlal edildiğini ve özel hatanın heteroskedastik olmak gibi daha karmaşık olabileceğini söyleyecektir (her gözlemin kendi varyansı vardır)$Va(y_i|x_i) = \sigma_i^2$) veya otokorelasyon (hatalar zaman serilerinde yaygın olarak birbirleri arasında ilişkilendirilir). Modelde ağırlıklı en küçük kareler veya uygulanabilir ağırlıklı en küçük kareler gibi değişiklikler veya bununla başa çıkabilecek heteroskedastisite sağlam standart hataları gibi standart hataları hesaplama şeklimizde değişiklikler vardır.
Takip ettiğiniz kitapta, formun heteroskedastisitesi varsa, az çok sıradan en küçük kareleri kullanabileceğinizi belirtiyorlar. $Var(y_i|x_i) = \sigma_i^2 = \sigma^2/w_i$ ve nedense ağırlıkların ne olduğunu biliyorsun $w_i$ hepsi için $i$. Uygulamada çoğu zaman bunu bilemezsiniz, ancak genel olarak ifade ettiği şey, hangi gözlemlerin diğerlerinden daha gürültülü veya daha az gürültülü olduğunu bilmeniz ve bunu ağırlık cinsinden ölçebilmenizdir.$w_i$.
Bunun işe yarama yolu, regresyonu çalıştırmaktır. $\frac{y_i}{\sqrt(w_i)}$ açık $\frac{x_{i,1}}{\sqrt(w_i)}, \frac{x_{i,2}}{\sqrt(w_i)}, \dots, \frac{x_{i,p}}{\sqrt(w_i)}$ve bir kesişme. Eğer$w_i$büyükse, bu gözlemin etkisini etkili bir şekilde hafifletiyorsunuz çünkü bu gürültülü. Eğer$w_i$küçükse onu güçlendiriyorsunuz çünkü size çok fazla bilgi veriyor. Yine, bunlar sadece varsayımlardır ve bahsettiğim gibi, analist çok güçlü olduklarını hissederse, bu varsayımları zayıflatmanın yolları vardır.
- Nerede $E[\mu_i]$ bilinen.
Bu yine bir varsayımdır. Doğrusal regresyon hakkında düşünmenin bir yolu, koşullu beklenti için bir model belirlemektir. Yine, daha yaygındır ve bunu koşullu bir beklenti olarak ifade etmek kişisel tercihim:
$E[\mu_i|x_i] = E[y_i|x_i] = \beta_0 + \sum_{i=1}^px_i\beta_i$
Buradaki fikir, gerçek koşullu beklentiyi yeniden elde etmek için modelin doğrusal (katsayılarda) olması gerektiğidir. Uygulamada, genellikle bunun doğru olduğunu biliyor muyuz? Hayır, tipik olarak değil, bu bir varsayımdır. Referans verdiğiniz metnin 2.3 bölümüne giderseniz, varsayımların ihlal edildiği örnekleri gösterirler. Büyük ölçüde ihlal edildiklerinde varsayımların ihlal edildiğini kontrol etmek genellikle kolaydır, ancak verilerin dışında bir miktar dış bilgi gelmeden bunların tatmin edici olduğunu asla tam olarak doğrulayamayız.
Bu, bu cevabın kapsamı dışındadır, ancak değişkenlerin doğrusal kombinasyonu, varsayım tam olarak doğru olmasa bile onları haklı çıkarabilecek güzel özelliklere sahiptir. Bazen doğrusal bir regresyonu, gerçek koşullu beklentiye özel bir genişleme veya yerel yaklaşım olarak düşünebiliriz. Daha yüksek dereceli terimler gibi şeyler dahil ederek$x^2, x^3$vb. veya diğer temel genişletmeler (veya eğri çizgiler gibi şeyler) bu yaklaşımlar daha doğru (örnek içindeki veya dışındaki sonucu tahmin etme yeteneği açısından) veya makul hale gelebilir. Böyle bir yaklaşık model mutlaka tarafsız olmayacak veya OLS'nin sahip olabileceği bazı verimlilik özelliklerinden yararlanmayacaktır, ancak yine de oldukça yararlı olabilir. Bu, insanların pratikte, özellikle de endüstride, genellikle doğrusal gerilemeyi düşünmeleridir.
Nasıl biliyoruz sorusunun yanıtı son derece durum bazındadır. Değişkenler hakkında ne biliyorsun? Bir agronomist olarak, bazen belirli bir modelde yaptığınız varsayımları kısmen haklı çıkarmak için ekinlerin nasıl davrandığına dair başka araştırmalara veya teorilere bakabilirsiniz. İstatistik sanatı, verileri üreten gerçek dünya hakkındaki makul varsayımları modellerle eşleştirmekle ilgilidir. Bir modelin varsayımlarını, nasıl zayıflatılabileceklerini veya güçlendirilemeyeceklerini ve ne zaman makul bir şekilde tuttuklarını anlamak, uygulamalı bir istatistikçi veya veri bilimcisinin tüm savaşıdır.