Apa hubungan antara koefisien regresi linier sederhana dan linier berganda?
Sederhananya, mari batasi kasus regresi linier berganda menjadi 2 prediktor, $x_1, x_2$. Anda mundur$y$ pada setiap individu dan dapatkan $\hat{\beta}_1, \hat{\beta}_2$. Sekarang Anda mundur$y$ pada keduanya dan dapatkan $\hat{\gamma}_1, \hat{\gamma}_2$.
Jadi saya tahu jika $x_1 \perp x_2$, kemudian $\hat{\beta}_i = \hat{\gamma}_i$, tetapi jika mereka tidak ortogonal, apa yang dapat dikatakan tentang hubungan di antara mereka?
Jika dalam setiap kasus regresi linier sederhana, kemiringannya positif, yaitu $\hat{\beta}_1, \hat{\beta_2} > 0$, dapatkah kita berharap $\hat{\gamma}_1, \hat{\gamma}_2 > 0$?
Saya baru saja menanyakan pertanyaan ini pada matematika SE (https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti), tetapi saya mencari lebih banyak intuisi aljabar linier dalam pertanyaan itu. Di sini, saya membuka segala jenis intuisi, statistik atau tidak.
Jawaban
Berikut adalah contoh sederhana yang memberikan wawasan.
y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)
summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))
plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)
Regresi sederhana memiliki hubungan positif yang signifikan, tetapi regresi berganda menunjukkan bahwa pengaruh x1 signifikan dan negatif. Grafik memberikan intuisi dengan jelas:
Mengabaikan x1, umumnya ada nilai y yang lebih tinggi untuk x2 yang lebih besar. Demikian pula, mengabaikan x2, umumnya ada nilai y yang lebih besar untuk x1 yang lebih besar. Pengamatan ini menjelaskan hasil regresi sederhana.
Dalam model regresi berganda, koefisien kemiringan adalah perkiraan pengaruh satu x sedangkan yang lain ditetapkan tetap . Dan Anda dapat dengan mudah melihat pada grafik bahwa nilai y lebih kecil karena x1 meningkat dalam salah satu dari tiga kelompok di mana x2 tetap (pada 1,2, atau 3).