Quelle est la relation entre les coefficients de régression linéaire simple et multiple?

Question

Donc simplicité, limitons le cas de régression linéaire multiple à 2 prédicteurs, $x_1, x_2$. Vous régresser$y$ sur chacun individuellement et obtenez $\hat{\beta}_1, \hat{\beta}_2$. Maintenant tu régresses$y$ sur les deux et obtenez $\hat{\gamma}_1, \hat{\gamma}_2$.

Alors je sais si $x_1 \perp x_2$, puis $\hat{\beta}_i = \hat{\gamma}_i$, mais s'ils ne sont pas orthogonaux, que peut-on dire de la relation entre eux?

Si dans chacun des cas de régression linéaire simple, la pente était positive, c'est-à-dire $\hat{\beta}_1, \hat{\beta_2} > 0$, pouvons-nous nous attendre $\hat{\gamma}_1, \hat{\gamma}_2 > 0$?

Je viens de poser cette question sur les mathématiques SE (https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti), mais je recherche plus d'une intuition d'algèbre linéaire dans cette question. Ici, je m'ouvre à tout type d'intuition, statistique ou non.

Answer 1

Voici un exemple simple qui fournit un aperçu.

y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)

summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))

plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)

Les régressions simples ont des relations positives significatives, mais la régression multiple montre que l'effet de x1 est significatif et négatif. Le graphique donne clairement l'intuition:

En ignorant x1, il y a généralement des valeurs plus élevées de y pour plus de x2. De même, en ignorant x2, il existe généralement des valeurs de y plus élevées pour des x1 plus grands. Ces observations expliquent les résultats de la régression simple.

Dans le modèle de régression multiple, les coefficients de pente sont des estimations de l'effet de l'un x tandis que l'autre est maintenu fixe . Et vous pouvez facilement voir dans le graphique que les valeurs de y sont plus petites à mesure que x1 augmente dans l'un des trois groupes où x2 est maintenu fixe (à 1,2 ou 3).