Qual è la relazione tra coefficienti di regressione lineare semplice e multipla?
Quindi semplicità, restringiamo il caso di regressione lineare multipla a 2 predittori, $x_1, x_2$. Regredisci$y$ su ciascuno individualmente e ottieni $\hat{\beta}_1, \hat{\beta}_2$. Ora regredisci$y$ su entrambi e ottieni $\hat{\gamma}_1, \hat{\gamma}_2$.
Quindi so se $x_1 \perp x_2$, poi $\hat{\beta}_i = \hat{\gamma}_i$, ma se non sono ortogonali, cosa si può dire della relazione tra loro?
Se in ciascuno dei casi di regressione lineare semplice, la pendenza era positiva, ovvero $\hat{\beta}_1, \hat{\beta_2} > 0$, possiamo aspettarci $\hat{\gamma}_1, \hat{\gamma}_2 > 0$?
Ho appena posto questa domanda sulla matematica SE (https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti), ma sto cercando più di un'intuizione di algebra lineare in questa domanda. Qui mi sto aprendo a qualsiasi tipo di intuizione, statistica o no.
Risposte
Ecco un semplice esempio che fornisce informazioni.
y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)
summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))
plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)
Le regressioni semplici hanno relazioni positive significative, ma la regressione multipla mostra che l'effetto di x1 è significativo e negativo. Il grafico dà chiaramente l'intuizione:

Ignorando x1, ci sono generalmente valori più alti di y per x2 più grandi. Allo stesso modo, ignorando x2, ci sono generalmente valori maggiori di y per x1 maggiore. Queste osservazioni spiegano i semplici risultati di regressione.
Nel modello di regressione multipla, i coefficienti di pendenza sono stime dell'effetto di una x mentre l'altra è fissata . E puoi facilmente vedere nel grafico che i valori di y sono più piccoli all'aumentare di x1 all'interno di uno qualsiasi dei tre gruppi in cui x2 è tenuto fisso (a 1,2 o 3).