Basit doğrusal ve çoklu doğrusal regresyon katsayıları arasındaki ilişki nedir?

Aug 16 2020

Öyleyse basitlik, çoklu doğrusal regresyon durumunu 2 yordayıcıyla sınırlayalım, $x_1, x_2$. Gerilersiniz$y$ her biri ayrı ayrı ve olsun $\hat{\beta}_1, \hat{\beta}_2$. Şimdi geriliyorsun$y$ ikisinde de ve olsun $\hat{\gamma}_1, \hat{\gamma}_2$.

Yani biliyorum ki $x_1 \perp x_2$, sonra $\hat{\beta}_i = \hat{\gamma}_i$, ama ortogonal değillerse, aralarındaki ilişki hakkında ne söylenebilir?

Basit doğrusal regresyon durumlarının her birinde, eğim pozitifse, yani, $\hat{\beta}_1, \hat{\beta_2} > 0$bekleyebilir miyiz $\hat{\gamma}_1, \hat{\gamma}_2 > 0$?

Bu soruyu matematik SE'de sordum (https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti), ancak bu soruda daha çok doğrusal cebir sezgisi arıyorum. Burada, istatistiksel olsun ya da olmasın her türlü sezgiye açıyorum.

Yanıtlar

3 BigBendRegion Aug 16 2020 at 01:25

İşte fikir veren basit bir örnek.

y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)

summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))

plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)

Basit regresyonların anlamlı pozitif ilişkileri vardır, ancak çoklu regresyon x1'in etkisinin anlamlı ve negatif olduğunu gösterir. Grafik, sezgiyi açıkça gösteriyor:

X1 göz ardı edilirse, daha büyük x2 için genellikle daha yüksek y değerleri vardır. Benzer şekilde, x2 yok sayılırsa, daha büyük x1 için genellikle daha büyük y değerleri vardır. Bu gözlemler basit regresyon sonuçlarını açıklamaktadır.

Çoklu regresyon modelinde, eğim katsayıları, bir x'in etkisinin tahminidir, diğeri ise sabit tutulur . Ve grafikte, x2'nin sabit tutulduğu üç gruptan herhangi birinde x1 arttıkça (1,2 veya 3'te) y'nin değerlerinin daha küçük olduğunu kolayca görebilirsiniz.