単純な線形回帰係数と複数の線形回帰係数の関係は何ですか？
簡単に言うと、複数の線形回帰の場合を2つの予測子に制限しましょう。 $x_1, x_2$。あなたは退行します$y$ それぞれに個別に取得します $\hat{\beta}_1, \hat{\beta}_2$。今、あなたは退行します$y$ 両方で取得します $\hat{\gamma}_1, \hat{\gamma}_2$。
だから私は知っています $x_1 \perp x_2$、その後 $\hat{\beta}_i = \hat{\gamma}_i$、しかし、それらが直交していない場合、それらの間の関係について何が言えますか？
単純な線形回帰の各ケースで、傾きが正の場合、つまり、 $\hat{\beta}_1, \hat{\beta_2} > 0$、期待できますか $\hat{\gamma}_1, \hat{\gamma}_2 > 0$？
私は数学SEでこの質問をしました（https://math.stackexchange.com/questions/3791992/relationship-between-projection-of-y-onto-x-1-x-2-individually-vs-projecti）、しかし私はその質問で線形代数の直感をもっと探しています。ここでは、統計的であろうとなかろうと、あらゆる種類の直感を受け入れます。
回答
これは洞察を提供する簡単な例です。
y = c(5.8,5.2,4.7,8.7,8.1,7.7,10.2,9.6,9.0)
x1 = c(1,1.5,2,1.8,2.7,3.5,3,4,4.5)
x2 = c(1,1,1,2,2,2,3,3,3)
summary(lm(y~x1))
summary(lm(y~x2))
summary(lm(y~x1+x2))
plot(x1,y,col=x2)
legend("topleft", c("x2=1", "x2=2", "x2=3"), pch=1, col=1:3)
単純な回帰には有意な正の関係がありますが、重回帰はx1の効果が有意で負であることを示しています。グラフは直感を明確に示しています。
x1を無視すると、一般に、x2が大きいほどyの値が高くなります。同様に、x2を無視すると、一般に、x1が大きいほどyの値が大きくなります。これらの観察結果は、単純な回帰結果を説明しています。
重回帰モデルでは、勾配係数は、一方のxの効果の推定値であり、もう一方のxは固定されています。また、グラフでは、x2が固定されている3つのグループ（1、2、または3）のいずれかでx1が増加すると、yの値が小さくなることが簡単にわかります。