OLS回帰のエラーの条件付き期待値はゼロ

Question

従属変数があるとします $Y$ および独立変数 $X$ 母集団で、線形モデルを推定したい $$ Y = \beta_{0} + \beta_{1}X + \varepsilon $$ 最小二乗法を使用して、推定値を取得します $\hat{\beta_{0}}$ そして $\hat{\beta_{1}}$、そしてこの母集団のサンプルでは、​​それぞれに $i$ サンプルで $$ y_{i} = \hat{\beta_{0}} + \hat{\beta_{1}}x_{i} + e_{i} $$ どこ $e_{i}$ 観測に関連する残余です $i$。さて、ここでの1つの重要な仮定は、$e_{i}$ 与えられた $X$ 正常であり、 $$ \mathbb{E}(e_{i}|X) = 0 $$ 方法がよくわかりません $e_{i}$ランダム変数として見たことができ、所与のAN$X$。確率変数とは正確には何ですか$e_{i}$、つまり、どのような異なる値を取ることができますか？与えられた見積もり$\hat{\beta_{0}}$ そして $\hat{\beta_{1}}$ と値 $X$、私には $e_{i}$有限数の固定値（1の場合もあります）を取るだけです。では、それはどのような意味で確率変数と見なされますか？

あるいは、の「ランダム性」は $e_{i}$回帰係数のさまざまな推定値に関連する誤差項を考慮するために来ますか？言い換えると、エラーの条件付き期待値がゼロであるということは、$X = x$、を含む母集団のさまざまなサンプルを選択した場合 $x$ そして、これらのサンプルのそれぞれの最小二乗線を推定しました。 $x$ 平均してゼロにする必要がありますか？

Answer 1

リグレッサーが与えられた場合に定義された残差は、たとえリグレッサーが与えられたとしても、それらを定数に減らすことができないという理由だけで確率変数のままです。言い換えれば、あなたが持っている場合$x_i$ 推定係数が与えられると、の予測値を取得できます。 $y$ しかし、この予測はその不確実性を維持しています。

ただし、残差値が推定された係数にリンクされていることは間違いありません。

今、あなたはあなたが書いた条件に注意する必要があります $E[e_i|X]=0$残差に書かれているので間違っています。残差と誤差の意味を混同するのではないかと心配しています。この問題は広く蔓延しており、非常に危険です。

あなたの表記に従うと、条件は次のようになります。 $E[\epsilon_i|X]=0$そして、それは、真のモデルを母集団回帰のようなものではなく構造方程式として解釈する場合にのみ意味があります（質問では線形モデルについて話しますが、あまりにも一般的で曖昧な名前が頻繁に使用されます）。そのような誤解は、学生の間や文学においても多くの問題を引き起こしました。

それらの投稿はあなたや他の読者を助けることができます：

内生性の実際の定義は何ですか？

等分散性は、回帰変数とエラーが無相関であることを意味しますか？

相関テストを使用した内生性テスト

回帰の人口パラメータ

Answer 2

いくつかの混乱は、 $e$ そして $\epsilon$、そしてそれはコメントや他の回答で適切に対処されているようです。しかし、OPによって表現された追加の混乱は、この文脈におけるランダム性自体の性質、および関連する問題の意味に関するものです。$E(\epsilon | X)$。これらの問題を明確にする答えがここにあります。

古典的な例を考えてみましょう。 $Y$ =息子の成人の身長、 $X$=父親の成人の身長。仮定します$E(Y | X = x) = \beta_0 + \beta_1 x$本当です。これはデータがどのように表示されるかを示すモデルであるため、データを収集する場所/時期/方法に関する概念的なフレームワークが必要です。具体的に、今日世界に住んでいる人々の「典型的な」サンプルについて話していると仮定します。これは、この人間のスペクトルを合理的に代表するものです。

「ランダム性」の問題は、実際のデータとは関係のないものとして最もよく理解できます。代わりに、概念的なデータ収集フレームワークの「潜在的に観察可能なデータ」の観点から理解することができます。身長が180cmであるが、サンプリングフレームワーク内で一般的である特定の父親を考えると、潜在的に観察可能な息子の身長の分布があります。したがって、$Y$ 式で $Y | X = 180$ この段階では「ランダム」と表現でき、潜在的に観測可能な値の確率分布があります。

世界の「人口」は、この文脈では無関係であること（注-代わりに、回帰モデル自体が、可能性の高さの多くの可能な実現の一つとして、今日の世界の人々の高さを見ている可能性が、この特定の時点で存在していましたで「人口」フレームワークが意味をなさない理由の1つは、人口の条件付き分布を構築するためのデータが人口にないことです。地球上の何人の父親の身長が79.9999999 ..........です。 9と80.0000 .......... 1センチメートル？「...」を十分長く実行させた場合、答えは「なし」です。）

さて、 $\epsilon = Y - (\beta_0 + \beta_1 x)$、これは潜在的に観察可能な（ランダムな）間の違いです $Y$ そして、そのような潜在的に観測可能な分布の平均 $Y$ 与えられた $x$。の「ランダム性」$\epsilon$ の「ランダム性」から継承されます $Y$ （条件付き平均 $\beta_0 + \beta_1 x$、心の中で不確かですが、この文脈では科学的に修正されています）。

状態を理解する $E(\epsilon | X=x) = 0$、もう一度検討してください $X=180$。ここに、$\epsilon$ 潜在的に観測可能な偏差です $Y$ そのために $X=180$、そのような潜在的に観察可能なすべての平均から $Y$。そのようなすべての平均$\epsilon$そのようなすべての平均が正確に0である $Y$のは $\beta_0 + \beta_1 (180)$。

ちなみに、仮定 $E(\epsilon | X=x) = 0 $ ここでは必要ありません：それはより直感的な仮定の数学的結果です $E(Y | X = x) = \beta_0 + \beta_1 x$、これは単に回帰平均関数が正しくモデル化されていることを示しています。