Qual é a relação entre coeficientes de regressão linear simplesmente linear e múltipla?

Question

Então, simplicidade, vamos restringir o caso de regressão linear múltipla a 2 preditores, $x_1, x_2$. Você regredir$y$ em cada um individualmente e obter $\hat{\beta}_1, \hat{\beta}_2$. Agora você regredir$y$ em ambos e obter $\hat{\gamma}_1, \hat{\gamma}_2$.

Então eu sei se $x_1 \perp x_2$, então $\hat{\beta}_i = \hat{\gamma}_i$, mas se não forem ortogonais, o que dizer da relação entre eles?

Se em cada um dos casos de regressão linear simples, a inclinação foi positiva, ou seja, $\hat{\beta}_1, \hat{\beta_2} > 0$, podemos esperar $\hat{\gamma}_1, \hat{\gamma}_2 > 0$?

Acabei de fazer esta pergunta sobre matemática SE (https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti), mas estou procurando mais uma intuição de álgebra linear nessa questão. Aqui, estou abrindo para qualquer tipo de intuição, estatística ou não.

Answer 1

Aqui está um exemplo simples que fornece uma visão.

y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)

summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))

plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)

As regressões simples têm relacionamentos positivos significativos, mas a regressão múltipla mostra que o efeito de x1 é significativo e negativo. O gráfico dá a intuição de forma clara:

Ignorando x1, geralmente existem valores mais altos de y para x2 maior. Da mesma forma, ignorando x2, geralmente existem valores maiores de y para x1 maior. Essas observações explicam os resultados da regressão simples.

No modelo de regressão múltipla, os coeficientes de inclinação são estimativas do efeito de um x enquanto o outro é mantido fixo . E você pode ver facilmente no gráfico que os valores de y são menores à medida que x1 aumenta em qualquer um dos três grupos onde x2 é mantido fixo (em 1,2 ou 3).