ความสัมพันธ์ระหว่างการฉายภาพของ $y$ ไปยัง $x_1, x_2$ เป็นรายบุคคลเทียบกับการฉายภาพทั้งสอง?

Aug 16 2020

โดยพื้นฐานแล้วนี่จะคล้ายกับคำถามที่ฉันเพิ่งถามในcross validatedแต่ที่นี่ฉันจะตั้งคำถามในรูปแบบพีชคณิตเชิงเส้น

พิจารณา $y \in \mathbb{R}^n$ และ $x_1, x_2, 1_n \in \mathbb{R}^{n}$. สมมติว่าคุณทำโครงงานในแนวตั้งฉาก$y$ ไปยัง $x_1, 1_n$ และค้นหาการฉายภาพของ $y$ ไปยังพื้นที่ย่อยที่ขยายโดย $x_1, 1_n$ สามารถเขียนเป็น $\hat{y}_1 = \hat{\beta}_1 x_1 + b_1$กล่าวคือการรวมกันเชิงเส้นของ $x_1$บวกค่าชดเชยบางส่วน ตอนนี้ทำเช่นเดียวกันสำหรับการฉายภาพมุมฉากของ$y$ ไปยัง $x_2, 1_n$ และค้นหา $\hat{y}_2 = \hat{\beta}_2 x_2 + b_2$.

ตอนนี้พิจารณาการฉาย $y$ ไปยังพื้นที่ย่อยที่ขยายโดยทั้งสอง $x_1, x_2, 1_n$ และค้นหา $\hat{y}_{12} = \hat{\gamma}_1 x_1 + \hat{\gamma}_2x_2 + b_{12}$.

ถ้า $x_1 \perp x_2$แล้วฉันก็รู้ $\hat{\beta}_i = \hat{\gamma}_i$. แต่ถ้ามันไม่ได้ตั้งฉากกันล่ะ?

ฉันจะพูดอะไรเกี่ยวกับความสัมพันธ์ระหว่าง $\hat{\beta}$ และ $\hat{\gamma}$ ในกรณีนี้?

คำถามเฉพาะบางอย่างที่ฉันสนใจก็คือถ้า $\hat{\beta} >0 $นี่หมายความว่า $\hat{\gamma} > 0$เหรอ? ถ้า$x_1, x_2$ ขึ้นอยู่กับเชิงเส้นดังนั้นฉันไม่คิดว่าสิ่งนี้จะไม่เป็นจริงสำหรับสัมประสิทธิ์ตัวใดตัวหนึ่ง

คำตอบ

VSSChaitanyaChavali Mar 12 2021 at 19:14

ฉันไม่สามารถพูดได้ว่าฉันเข้าใจอย่างถ่องแท้ว่าค่าคงที่เหล่านั้นคืออะไร $b_1$, $b_2$ หรือ $b_{12}$มีไว้สำหรับ แต่ฉันเข้าใจส่วนสำคัญของคำถามของคุณและฉันจะพยายามอย่างเต็มที่

พูดการฉายภาพมุมฉากของ $y$ ไปยังพื้นที่ย่อยที่ขยายโดย $x_1$ สามารถเขียนเป็น $\hat{y}_1 = \hat{\beta}_1 x_1$กล่าวคือการรวมกันเชิงเส้นของ $x_1$. ตอนนี้เราทำเช่นเดียวกันสำหรับการฉายภาพมุมฉากของ$y$ ไปยัง $x_2$ และค้นหา $\hat{y}_2 = \hat{\beta}_2 x_2$.

นอกจากนี้เรายังมีการฉายภาพของ $y$ ไปยังพื้นที่ย่อยที่ขยายโดยทั้งสอง $x_1, x_2$ และค้นหา $\hat{y}_{12} = \hat{\gamma}_1 x_1 + \hat{\gamma}_2x_2$.

เราสามารถพูดเวกเตอร์ได้โดยไม่สูญเสียลักษณะทั่วไป $x_1$ และ $x_2$ เป็นเวกเตอร์หน่วยและแสดงโดย $\hat{x_1}$ และ $\hat{x_2}$. หากคุณไม่ต้องการทำสิ่งนี้ให้เขียนเวกเตอร์ทั้งหมดในรูปแบบของ$\hat{x_1}$ และ $\hat{x_2}$. ตัวอย่างเช่น$\hat{\beta_1}$ จะกลายเป็น $\hat{\beta_1} ||x_1||$

ตอนนี้ให้พิจารณาข้อความนี้ การฉายภาพมุมฉากของ$\hat{y_{12}}$ ไปยัง $x_1$ ก็จะเหมือนกับ $\hat{y_1}$ และการฉายภาพมุมฉากของ $\hat{y_{12}}$ ไปยัง $x_2$ ก็จะเหมือนกับ $\hat{y_2}$.

ดังนั้นตามความหมายของการฉายภาพ

$$ \hat{y_{12}}.\hat{x_1} = ||\hat{y_1}|| $$

$$ \implies (\hat{\gamma}_1 \hat{x_1} + \hat{\gamma}_2 \hat{x_2}).\hat{x_1} = ||\hat{y_1}||$$

$$ \implies \hat{\gamma}_1 \hat{x_1}.\hat{x_1} + \hat{\gamma}_2 \hat{x_2}.\hat{x_1} = \hat{\beta}_1$$

$$ \implies \hat{\gamma}_1 + \hat{\gamma}_2 \hat{x_2}.\hat{x_1} = \hat{\beta}_1 \tag{1}$$

ในทำนองเดียวกันเราสามารถแก้ $ \hat{y_{12}}.\hat{x_1} = ||\hat{y_2}|| $ ที่จะได้รับ

$$ \implies \hat{\gamma}_1 \hat{x_1}.\hat{x_2} + \hat{\gamma}_2 = \hat{\beta}_2 \tag{2}$$

ไปเลย เรามี 2 สมการและ 2 สมการที่ไม่รู้จัก

เห็นได้ชัดว่าเราควรรู้คุณค่าของ $\hat{x_1}.\hat{x_2}$กล่าวอีกนัยหนึ่งคือโคไซน์ของมุมระหว่างทั้งสองเพื่อให้ได้ความสัมพันธ์ที่ต้องการ ในกรณีที่$\hat{x_1}$ และ $\hat{x_2}$ มีมุมฉาก $cos \frac{\pi}{2}=0$ และด้วยเหตุนี้ผลลัพธ์ที่คุณให้ $\hat{\beta}_i = \hat{\gamma}_i$.