단순한 선형 회귀 계수와 다중 선형 회귀 계수 간의 관계는 무엇입니까?

Question

간단하게, 다중 선형 회귀 사례를 2 개의 예측 변수로 제한하겠습니다. $x_1, x_2$. 당신은 회귀$y$ 각각 개별적으로 $\hat{\beta}_1, \hat{\beta}_2$. 이제 회귀$y$ 양쪽 모두에 $\hat{\gamma}_1, \hat{\gamma}_2$.

그래서 나는 $x_1 \perp x_2$, 다음 $\hat{\beta}_i = \hat{\gamma}_i$, 그러나 그들이 직교하지 않으면 그들 사이의 관계에 대해 무엇을 말할 수 있습니까?

각각의 단순 선형 회귀 사례에서 기울기가 양수이면 즉, $\hat{\beta}_1, \hat{\beta_2} > 0$, 우리는 기대할 수 있습니까 $\hat{\gamma}_1, \hat{\gamma}_2 > 0$?

방금 수학 SE에서이 질문을했습니다.https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti), 그러나 나는 그 질문에서 더 많은 선형 대수 직관을 찾고 있습니다. 여기서 저는 통계적이든 아니든 어떤 종류의 직관을 가지고 있습니다.

Answer 1

다음은 통찰력을 제공하는 간단한 예입니다.

y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)

summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))

plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)

단순 회귀는 유의 한 양의 관계를 갖지만 다중 회귀는 x1의 효과가 유의하고 음의임을 보여줍니다. 그래프는 직감을 명확하게 보여줍니다.

x1을 무시하면 일반적으로 더 큰 x2에 대해 더 높은 y 값이 있습니다. 마찬가지로 x2를 무시하면 일반적으로 더 큰 x1에 대해 더 큰 y 값이 있습니다. 이러한 관찰은 단순 회귀 결과를 설명합니다.

다중 회귀 모델에서 기울기 계수는 하나의 x 효과에 대한 추정치이고 다른 하나는 고정 된 상태 로 유지 됩니다. 그리고 그래프에서 x2가 고정 된 세 그룹 (1, 2 또는 3) 중 하나에서 x1이 증가함에 따라 y의 값이 더 작다는 것을 쉽게 알 수 있습니다.