ความคาดหวังที่เป็นเงื่อนไขเป็นศูนย์ของข้อผิดพลาดในการถดถอย OLS

Question

สมมติว่าเรามีตัวแปรตาม $Y$ และตัวแปรอิสระ $X$ ในกลุ่มประชากรและเราต้องการประมาณโมเดลเชิงเส้น $$ Y = \beta_{0} + \beta_{1}X + \varepsilon $$ ใช้วิธีกำลังสองน้อยที่สุดเราได้ค่าประมาณ $\hat{\beta_{0}}$ และ $\hat{\beta_{1}}$และในตัวอย่างของประชากรกลุ่มนี้เรามีสำหรับแต่ละกลุ่ม $i$ ในตัวอย่าง $$ y_{i} = \hat{\beta_{0}} + \hat{\beta_{1}}x_{i} + e_{i} $$ ที่ไหน $e_{i}$ คือส่วนที่เหลือที่เกี่ยวข้องกับการสังเกต $i$. ตอนนี้สมมติฐานที่สำคัญประการหนึ่งคือการแจกแจงแบบมีเงื่อนไขของ$e_{i}$ ได้รับ $X$ เป็นเรื่องปกติและ $$ \mathbb{E}(e_{i}|X) = 0 $$ ฉันไม่เข้าใจวิธีการทั้งหมด $e_{i}$สามารถมองที่เป็นตัวแปรสุ่มรับ$X$. ตัวแปรสุ่มคืออะไร$e_{i}$กล่าวคือค่าที่แตกต่างกันสามารถรับได้? ประมาณการ$\hat{\beta_{0}}$ และ $\hat{\beta_{1}}$ และค่า $X$สำหรับฉันแล้วดูเหมือนว่าไฟล์ $e_{i}$เพียงแค่รับค่าคงที่จำนวน จำกัด (อาจเป็น 1) แล้วมันถูกมองว่าเป็นตัวแปรสุ่มในแง่ใด?

อีกวิธีหนึ่งคือ "การสุ่ม" ใน $e_{i}$มาเพราะเราพิจารณาข้อผิดพลาดที่เกี่ยวข้องกับการประมาณค่าสัมประสิทธิ์การถดถอยที่แตกต่างกัน ? กล่าวอีกนัยหนึ่งความคาดหวังที่มีเงื่อนไขเป็นศูนย์ของข้อผิดพลาดหมายความว่าได้รับ$X = x$ถ้าเราเลือกกลุ่มตัวอย่างต่างๆที่มี $x$ และประมาณเส้นกำลังสองน้อยที่สุดสำหรับแต่ละตัวอย่างข้อผิดพลาดที่เกี่ยวข้อง $x$ โดยเฉลี่ยแล้วควรเป็นศูนย์หรือไม่?

Answer 1

ส่วนที่เหลือที่กำหนดโดยผู้ถดถอยยังคงเป็นตัวแปรสุ่มเพียงเพราะแม้ว่าจะกำหนดตัวถดถอย แต่ก็ไม่สามารถลดให้เป็นค่าคงที่ได้ กล่าวอีกนัยหนึ่งถ้าคุณมี$x_i$ คุณจะได้รับค่าสัมประสิทธิ์โดยประมาณค่าที่คาดการณ์ไว้ของ $y$ แต่การทำนายนี้ยังคงมีความไม่แน่นอน

อย่างไรก็ตามคุณมีสิทธิ์ที่ค่าที่เหลือจะเชื่อมโยงกับค่าสัมประสิทธิ์โดยประมาณ

ตอนนี้คุณต้องสังเกตว่าเงื่อนไขที่คุณเขียน $E[e_i|X]=0$ผิดเพราะเขียนบนเศษเหลือ ฉันเกรงว่าคุณจะทำให้ความหมายของสิ่งตกค้างและข้อผิดพลาดสับสน ปัญหานี้แพร่กระจายเป็นวงกว้างและอันตรายมาก

ตามสัญกรณ์ของคุณเงื่อนไขควรจะเป็น $E[\epsilon_i|X]=0$และให้ความรู้สึกเฉพาะในกรณีที่เราตีความรูปแบบที่แท้จริงเป็นสมการโครงสร้างและไม่ได้เป็นบางอย่างเช่นการถดถอยประชากร (คุณพูดเกี่ยวกับรูปแบบเชิงเส้นในคำถามของคุณกว้างเกินไปและชื่อคลุมเครือที่ใช้บ่อย) ความเข้าใจผิดเช่นนี้ก่อให้เกิดปัญหามากมายในหมู่นักศึกษาและในวรรณคดีด้วย

โพสต์เหล่านี้สามารถช่วยคุณและผู้อ่านคนอื่น ๆ :

นิยามที่แท้จริงของ endogeneity คืออะไร?

homoscedasticity หมายความว่าตัวแปร regressor และข้อผิดพลาดไม่สัมพันธ์กันหรือไม่?

การทดสอบความสมบูรณ์โดยใช้การทดสอบสหสัมพันธ์

พารามิเตอร์ประชากรของการถดถอย

Answer 2

ความสับสนบางประการเกี่ยวกับความแตกต่างระหว่าง $e$ และ $\epsilon$และดูเหมือนว่าจะได้รับการกล่าวถึงอย่างเพียงพอในความคิดเห็นและคำตอบอื่น ๆ แต่ความสับสนเพิ่มเติมที่แสดงโดย OP เกี่ยวข้องกับธรรมชาติของการสุ่มในบริบทนี้และในประเด็นที่เกี่ยวข้องกับความหมายของ$E(\epsilon | X)$. นี่คือคำตอบที่ชี้แจงประเด็นเหล่านี้

ลองพิจารณาตัวอย่างคลาสสิก: $Y$ = ความสูงผู้ใหญ่ของลูกชาย $X$= ความสูงของพ่อ สมมติ$E(Y | X = x) = \beta_0 + \beta_1 x$เป็นความจริง. เนื่องจากนี่เป็นแบบจำลองสำหรับวิธีที่ข้อมูลอาจปรากฏขึ้นเราจึงจำเป็นต้องมีกรอบแนวคิดสำหรับสถานที่ / เวลา / วิธีการรวบรวมข้อมูล สมมติว่าเรากำลังพูดถึงตัวอย่าง "ทั่วไป" ของผู้คนที่อาศัยอยู่ในโลกปัจจุบันซึ่งเป็นตัวแทนที่สมเหตุสมผลของสเปกตรัมของมนุษย์นี้

คำถามของ "การสุ่ม" สามารถเข้าใจได้ดีที่สุดว่าเป็นสิ่งที่ไม่เกี่ยวข้องกับข้อมูลจริง ซึ่งสามารถเข้าใจได้ในแง่ของ "ข้อมูลที่อาจสังเกตได้" สำหรับกรอบการรวบรวมข้อมูลแนวความคิด สำหรับพ่อคนหนึ่งที่มีความสูง 180 ซม. แต่ผู้ที่มีลักษณะทั่วไปในกรอบการสุ่มตัวอย่างมีการกระจายความสูงของลูกชายที่สังเกตได้ ดังนั้น$Y$ ในนิพจน์ $Y | X = 180$ สามารถอธิบายได้ว่าเป็น "สุ่ม" ในขั้นตอนนี้โดยมีการแจกแจงความน่าจะเป็นของค่าที่สังเกตได้

(โปรดสังเกตว่า "ประชากร" ของโลกไม่เกี่ยวข้องในบริบทนี้ - แบบจำลองการถดถอยมองว่าความสูงของผู้คนในโลกปัจจุบันเป็นเหมือนตัวเอง แต่เป็นหนึ่งในการตระหนักถึงความสูงที่เป็นไปได้หลายประการที่อาจมีอยู่ ณ จุดนี้โดยเฉพาะใน เวลาเหตุผลหนึ่งที่กรอบ "ประชากร" ไม่สมเหตุสมผลก็คือไม่มีข้อมูลในประชากรที่จะสร้างการแจกแจงแบบมีเงื่อนไขของประชากร: กี่พ่อบนโลกที่มีความสูงระหว่าง 79.9999999 ........... 9 และ 80.0000 .......... 1 เซนติเมตรคำตอบคือ "ไม่มี" ถ้าคุณปล่อยให้ "... " ทำงานนานพอ)

ตอนนี้ $\epsilon = Y - (\beta_0 + \beta_1 x)$ซึ่งเป็นความแตกต่างระหว่างสิ่งที่อาจสังเกตได้ (สุ่ม) $Y$ และค่าเฉลี่ยของการกระจายตัวของสิ่งที่สังเกตได้ $Y$ สำหรับ $x$. "การสุ่ม" ใน$\epsilon$ สืบทอดมาจาก "การสุ่ม" ใน $Y$ (ค่าเฉลี่ยตามเงื่อนไข $\beta_0 + \beta_1 x$ในขณะที่ความไม่แน่ใจในจิตใจได้รับการแก้ไขทางวิทยาศาสตร์ในบริบทนี้)

เพื่อทำความเข้าใจเงื่อนไข $E(\epsilon | X=x) = 0$ให้พิจารณาอีกครั้ง $X=180$. ที่นี่$\epsilon$ คือความเบี่ยงเบนของสิ่งที่อาจสังเกตได้ $Y$ ซึ่ง $X=180$จากค่าเฉลี่ยทั้งหมดที่สังเกตได้ $Y$. ค่าเฉลี่ยของทั้งหมดนั้น$\epsilon$เป็น 0 อย่างแม่นยำเพราะค่าเฉลี่ยของทั้งหมดนั้น $Y$คือ $\beta_0 + \beta_1 (180)$.

โดยวิธีการสันนิษฐาน $E(\epsilon | X=x) = 0 $ ไม่จำเป็นต้องใช้ที่นี่: เป็นผลทางคณิตศาสตร์ของสมมติฐานที่เข้าใจง่ายขึ้น $E(Y | X = x) = \beta_0 + \beta_1 x$ซึ่งระบุเพียงว่าฟังก์ชันค่าเฉลี่ยการถดถอยได้รับการจำลองอย่างถูกต้อง