Jaka jest zależność między prostymi i wielokrotnymi współczynnikami regresji liniowej?
Zatem upraszczajmy, ograniczmy przypadek wielokrotnej regresji liniowej do 2 predyktorów, $x_1, x_2$. Regresujesz$y$ na każdym z osobna i dostać $\hat{\beta}_1, \hat{\beta}_2$. Teraz się cofasz$y$ na obu i dostać $\hat{\gamma}_1, \hat{\gamma}_2$.
Więc wiem, czy $x_1 \perp x_2$, następnie $\hat{\beta}_i = \hat{\gamma}_i$, ale jeśli nie są ortogonalne, co można powiedzieć o relacji między nimi?
Jeśli w każdym z prostych przypadków regresji liniowej nachylenie było dodatnie, tj. $\hat{\beta}_1, \hat{\beta_2} > 0$, możemy się spodziewać $\hat{\gamma}_1, \hat{\gamma}_2 > 0$?
Właśnie zadałem to pytanie na matematyce SE (https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti), ale w tym pytaniu szukam więcej intuicji algebry liniowej. Tutaj otwieram się na jakąkolwiek intuicję, statystyczną lub nie.
Odpowiedzi
Oto prosty przykład, który zapewnia wgląd.
y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)
summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))
plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)
Proste regresje mają istotne dodatnie związki, ale regresja wielokrotna pokazuje, że efekt x1 jest znaczący i ujemny. Wykres jasno daje intuicję:

Ignorując x1, są generalnie wyższe wartości y dla większego x2. Podobnie, ignorując x2, istnieją generalnie większe wartości y dla większego x1. Te obserwacje wyjaśniają proste wyniki regresji.
W modelu regresji wielorakiej współczynniki nachylenia są szacunkami wpływu jednego x, podczas gdy drugi jest stały . Na wykresie można łatwo zobaczyć, że wartości y są mniejsze, gdy x1 rośnie w dowolnej z trzech grup, w których x2 jest ustalone (na 1, 2 lub 3).