Relação entre projeção de$y$para$x_1, x_2$individualmente vs. projeção em ambos?

Aug 16 2020

Isso é essencialmente semelhante à pergunta que acabei de fazer em validação cruzada , mas aqui vou colocá-la de uma forma de álgebra linear.

Considerar$y \in \mathbb{R}^n$e$x_1, x_2, 1_n \in \mathbb{R}^{n}$. Suponha que você projete ortogonalmente$y$para$x_1, 1_n$e encontre a projeção de$y$no subespaço gerado por$x_1, 1_n$pode ser escrito como$\hat{y}_1 = \hat{\beta}_1 x_1 + b_1$, ou seja, uma combinação linear de$x_1$mais algum deslocamento. Agora faça o mesmo para a projeção ortogonal de$y$para$x_2, 1_n$e encontra$\hat{y}_2 = \hat{\beta}_2 x_2 + b_2$.

Agora considere projetar$y$no subespaço estendido por ambos$x_1, x_2, 1_n$e encontra$\hat{y}_{12} = \hat{\gamma}_1 x_1 + \hat{\gamma}_2x_2 + b_{12}$.

Se$x_1 \perp x_2$, então eu sei$\hat{\beta}_i = \hat{\gamma}_i$. Mas e se eles não forem ortogonais?

O que posso dizer sobre a relação entre$\hat{\beta}$e$\hat{\gamma}$nesse caso?

Algumas questões específicas que também me interessam são se$\hat{\beta} >0 $, isso implica$\hat{\gamma} > 0$? Se$x_1, x_2$são linearmente dependentes, então não acho que isso não seja verdade para um dos coeficientes.

Respostas

VSSChaitanyaChavali Mar 12 2021 at 19:14

Não posso dizer que entendi completamente o que essas constantes$b_1$,$b_2$ou$b_{12}$são para. Mas eu entendi a essência da sua pergunta e vou tentar o meu melhor.

Diga a projeção ortogonal de$y$no subespaço gerado por$x_1$pode ser escrito como$\hat{y}_1 = \hat{\beta}_1 x_1$, ou seja, uma combinação linear de$x_1$. Agora fazemos o mesmo para a projeção ortogonal de$y$para$x_2$e encontra$\hat{y}_2 = \hat{\beta}_2 x_2$.

Também temos a projeção de$y$no subespaço estendido por ambos$x_1, x_2$e encontra$\hat{y}_{12} = \hat{\gamma}_1 x_1 + \hat{\gamma}_2x_2$.

Sem perda de generalidade, podemos dizer que os vetores$x_1$e$x_2$são vetores unitários e os representam por$\hat{x_1}$e$\hat{x_2}$. Se você não quiser fazer isso, reescreva todos os vetores em termos de$\hat{x_1}$e$\hat{x_2}$. Então, por exemplo,$\hat{\beta_1}$se tornará$\hat{\beta_1} ||x_1||$

Agora, considere esta afirmação. A projeção ortogonal de$\hat{y_{12}}$para$x_1$seria o mesmo que$\hat{y_1}$e a projeção ortogonal de$\hat{y_{12}}$para$x_2$seria o mesmo que$\hat{y_2}$.

Assim, pela definição de projeção,

$$ \hat{y_{12}}.\hat{x_1} = ||\hat{y_1}|| $$

$$ \implies (\hat{\gamma}_1 \hat{x_1} + \hat{\gamma}_2 \hat{x_2}).\hat{x_1} = ||\hat{y_1}||$$

$$ \implies \hat{\gamma}_1 \hat{x_1}.\hat{x_1} + \hat{\gamma}_2 \hat{x_2}.\hat{x_1} = \hat{\beta}_1$$

$$ \implies \hat{\gamma}_1 + \hat{\gamma}_2 \hat{x_2}.\hat{x_1} = \hat{\beta}_1 \tag{1}$$

Da mesma forma podemos resolver$ \hat{y_{12}}.\hat{x_1} = ||\hat{y_2}|| $para obter

$$ \implies \hat{\gamma}_1 \hat{x_1}.\hat{x_2} + \hat{\gamma}_2 = \hat{\beta}_2 \tag{2}$$

Ai está. Temos 2 equações e 2 incógnitas.

Obviamente, devemos saber o valor de$\hat{x_1}.\hat{x_2}$, ou seja, o cosseno do ângulo entre eles, para obter as relações necessárias. No caso onde$\hat{x_1}$e$\hat{x_2}$são ortogonais,$cos \frac{\pi}{2}=0$e daí o resultado que você deu$\hat{\beta}_i = \hat{\gamma}_i$.