Welche Beziehung besteht zwischen einfach linearen und multiplen linearen Regressionskoeffizienten?

Aug 16 2020

Lassen Sie uns der Einfachheit halber den Fall mehrerer linearer Regressionen auf zwei Prädiktoren beschränken. $x_1, x_2$. Du regressierst$y$ auf jeden einzeln und bekommen $\hat{\beta}_1, \hat{\beta}_2$. Jetzt regressierst du$y$ auf beide und bekommen $\hat{\gamma}_1, \hat{\gamma}_2$.

Also ich weiß ob $x_1 \perp x_2$, dann $\hat{\beta}_i = \hat{\gamma}_i$, aber wenn sie nicht orthogonal sind, was kann man über die Beziehung zwischen ihnen sagen?

Wenn in jedem der einfachen linearen Regressionsfälle die Steigung positiv war, dh $\hat{\beta}_1, \hat{\beta_2} > 0$können wir erwarten $\hat{\gamma}_1, \hat{\gamma}_2 > 0$?

Ich habe diese Frage gerade in der Mathe SE gestellt (https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti), aber ich suche in dieser Frage eher nach einer linearen Algebra-Intuition. Hier öffne ich mich für jede Art von Intuition, ob statistisch oder nicht.

Antworten

3 BigBendRegion Aug 16 2020 at 01:25

Hier ist ein einfaches Beispiel, das Einblicke bietet.

y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)

summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))

plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)

Die einfachen Regressionen haben signifikante positive Beziehungen, aber die multiple Regression zeigt, dass der Effekt von x1 signifikant und negativ ist. Die Grafik gibt die Intuition klar wieder:

Wenn man x1 ignoriert, gibt es im Allgemeinen höhere Werte von y für größeres x2. Wenn man x2 ignoriert, gibt es im Allgemeinen größere Werte von y für größere x1. Diese Beobachtungen erklären die einfachen Regressionsergebnisse.

Im multiplen Regressionsmodell sind die Steigungskoeffizienten Schätzungen des Effekts eines x, während das andere festgehalten wird . Und Sie können leicht in der Grafik sehen, dass die Werte von y kleiner sind, wenn x1 in einer der drei Gruppen zunimmt, in denen x2 festgehalten wird (entweder bei 1,2 oder 3).