อะไรคือความสัมพันธ์ระหว่างสัมประสิทธิ์การถดถอยเชิงเส้นแบบเชิงเส้นและแบบพหุคูณ?
ดังนั้นความเรียบง่ายลอง จำกัด กรณีการถดถอยเชิงเส้นพหุคูณเป็นตัวทำนาย 2 ตัว $x_1, x_2$. คุณถอยหลัง$y$ ในแต่ละรายการและรับ $\hat{\beta}_1, \hat{\beta}_2$. ตอนนี้คุณถอยหลัง$y$ ทั้งสองและรับ $\hat{\gamma}_1, \hat{\gamma}_2$.
ดังนั้นฉันรู้ว่า $x_1 \perp x_2$แล้ว $\hat{\beta}_i = \hat{\gamma}_i$แต่ถ้ามันไม่ได้ตั้งฉากกันจะบอกอะไรได้บ้างเกี่ยวกับความสัมพันธ์ระหว่างกัน?
หากในแต่ละกรณีการถดถอยเชิงเส้นอย่างง่ายความชันเป็นบวกกล่าวคือ $\hat{\beta}_1, \hat{\beta_2} > 0$เราคาดหวังได้ไหม $\hat{\gamma}_1, \hat{\gamma}_2 > 0$เหรอ?
ฉันเพิ่งถามคำถามนี้ในคณิตศาสตร์ SE (https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti) แต่ฉันกำลังมองหาสัญชาตญาณพีชคณิตเชิงเส้นเพิ่มเติมในคำถามนั้น ที่นี่ฉันกำลังเปิดรับสัญชาตญาณทางสถิติหรือไม่
คำตอบ
นี่คือตัวอย่างง่ายๆที่ให้ข้อมูลเชิงลึก
y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)
summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))
plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)
การถดถอยอย่างง่ายมีความสัมพันธ์เชิงบวกอย่างมีนัยสำคัญ แต่การถดถอยพหุคูณแสดงให้เห็นว่าผลของ x1 มีนัยสำคัญและเป็นลบ กราฟให้สัญชาตญาณอย่างชัดเจน:
เมื่อมองข้าม x1 โดยทั่วไปจะมีค่า y สูงกว่าสำหรับ x2 ที่ใหญ่กว่า ในทำนองเดียวกันการไม่สนใจ x2 โดยทั่วไปจะมีค่า y มากกว่าสำหรับ x1 ที่ใหญ่กว่า ข้อสังเกตเหล่านี้อธิบายผลการถดถอยอย่างง่าย
ในรูปแบบการถดถอยหลายสัมประสิทธิ์ความลาดชันที่มีการประมาณการผลกระทบของ x หนึ่งในขณะที่อื่น ๆที่จัดขึ้นได้รับการแก้ไข และคุณสามารถเห็นได้อย่างง่ายดายในกราฟว่าค่าของ y มีค่าน้อยลงเมื่อ x1 เพิ่มขึ้นภายในกลุ่มใด ๆ จากสามกลุ่มที่ x2 ถูกตรึงไว้ (ที่ 1,2 หรือ 3)