Mối quan hệ giữa các hệ số hồi quy tuyến tính đơn giản và nhiều tuyến tính là gì?

Question

Vì vậy, đơn giản, hãy hạn chế nhiều trường hợp hồi quy tuyến tính cho 2 dự báo, $x_1, x_2$. Bạn thụt lùi$y$ trên từng cá nhân và nhận được $\hat{\beta}_1, \hat{\beta}_2$. Bây giờ bạn thoái lui$y$ trên cả hai và nhận được $\hat{\gamma}_1, \hat{\gamma}_2$.

Vì vậy, tôi biết nếu $x_1 \perp x_2$, sau đó $\hat{\beta}_i = \hat{\gamma}_i$, nhưng nếu chúng không trực giao, có thể nói gì về mối quan hệ giữa chúng?

Nếu trong mỗi trường hợp hồi quy tuyến tính đơn giản, hệ số góc là dương, tức là $\hat{\beta}_1, \hat{\beta_2} > 0$, chúng ta có thể mong đợi $\hat{\gamma}_1, \hat{\gamma}_2 > 0$?

Tôi vừa hỏi câu hỏi này trên SE toán học (https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti), nhưng tôi đang tìm kiếm thêm trực giác đại số tuyến tính trong câu hỏi đó. Đây, tôi đang mở cho bất kỳ loại trực giác nào, thống kê hay không.

Answer 1

Đây là một ví dụ đơn giản cung cấp cái nhìn sâu sắc.

y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)

summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))

plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)

Các hồi quy đơn giản có mối quan hệ tích cực đáng kể, nhưng hồi quy bội cho thấy ảnh hưởng của x1 là đáng kể và âm. Biểu đồ cho trực giác rõ ràng:

Bỏ qua x1, thường có giá trị cao hơn của y cho x2 lớn hơn. Tương tự, bỏ qua x2, thường có các giá trị lớn hơn của y cho x1 lớn hơn. Những quan sát này giải thích các kết quả hồi quy đơn giản.

Trong mô hình hồi quy bội, hệ số góc là các ước lượng về ảnh hưởng của một x trong khi một x được giữ cố định . Và bạn có thể dễ dàng thấy trong đồ thị rằng các giá trị của y càng nhỏ khi x1 tăng trong bất kỳ nhóm nào trong ba nhóm mà x2 được giữ cố định (ở 1,2 hoặc 3).