¿Cuál es la relación entre los coeficientes de regresión lineal simple y lineal múltiple?
Así que, simplifiquemos, limitemos el caso de regresión lineal múltiple a 2 predictores, $x_1, x_2$. Usted retrocede$y$ en cada uno individualmente y obtener $\hat{\beta}_1, \hat{\beta}_2$. Ahora retrocedes$y$ en ambos y obtener $\hat{\gamma}_1, \hat{\gamma}_2$.
Entonces se si $x_1 \perp x_2$, luego $\hat{\beta}_i = \hat{\gamma}_i$, pero si no son ortogonales, ¿qué se puede decir sobre la relación entre ellos?
Si en cada uno de los casos de regresión lineal simple, la pendiente fue positiva, es decir, $\hat{\beta}_1, \hat{\beta_2} > 0$, podemos esperar $\hat{\gamma}_1, \hat{\gamma}_2 > 0$?
Acabo de hacer esta pregunta sobre matemáticas SE (https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti), pero estoy buscando más intuición de álgebra lineal en esa pregunta. Aquí, me estoy abriendo a cualquier tipo de intuición, estadística o no.
Respuestas
A continuación, se muestra un ejemplo sencillo que proporciona información.
y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)
summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))
plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)
Las regresiones simples tienen relaciones positivas significativas, pero la regresión múltiple muestra que el efecto de x1 es significativo y negativo. El gráfico da la intuición claramente:

Ignorando x1, generalmente hay valores más altos de y para x2 más grande. De manera similar, ignorando x2, generalmente hay valores mayores de y para x1 mayor. Estas observaciones explican los resultados de la regresión simple.
En el modelo de regresión múltiple, los coeficientes de pendiente son estimaciones del efecto de una x mientras que la otra se mantiene fija . Y puede ver fácilmente en el gráfico que los valores de y son más pequeños a medida que x1 aumenta dentro de cualquiera de los tres grupos donde x2 se mantiene fijo (en 1,2 o 3).