Relation entre la projection de$y$sur$x_1, x_2$individuellement vs projection sur les deux ?

Question

Ceci est essentiellement similaire à la question que je viens de poser sur la validation croisée , mais ici je vais la poser d'une manière algèbre linéaire.

Envisager$y \in \mathbb{R}^n$et$x_1, x_2, 1_n \in \mathbb{R}^{n}$. Supposons que vous projetiez orthogonalement$y$sur$x_1, 1_n$et trouver la projection de$y$sur le sous-espace couvert par$x_1, 1_n$peut être écrit comme$\hat{y}_1 = \hat{\beta}_1 x_1 + b_1$, c'est-à-dire une combinaison linéaire de$x_1$plus un décalage. Faites maintenant la même chose pour la projection orthogonale de$y$sur$x_2, 1_n$et trouve$\hat{y}_2 = \hat{\beta}_2 x_2 + b_2$.

Pensez maintenant à projeter$y$sur le sous-espace couvert par les deux$x_1, x_2, 1_n$et trouve$\hat{y}_{12} = \hat{\gamma}_1 x_1 + \hat{\gamma}_2x_2 + b_{12}$.

Si$x_1 \perp x_2$, alors je sais$\hat{\beta}_i = \hat{\gamma}_i$. Mais que se passe-t-il s'ils ne sont pas orthogonaux ?

Que puis-je dire sur la relation entre$\hat{\beta}$et$\hat{\gamma}$dans ce cas?

Certaines questions spécifiques qui m'intéressent également sont de savoir si$\hat{\beta} >0 $, cela implique-t-il$\hat{\gamma} > 0$? Si$x_1, x_2$sont linéairement dépendants, alors je ne pense pas que ce ne sera pas vrai pour l'un des coefficients.

Answer 1

Je ne peux pas dire que j'ai complètement compris ce que ces constantes$b_1$,$b_2$ou$b_{12}$sont pour. Mais j'ai compris l'essentiel de votre question et je vais essayer de mon mieux.

Dire la projection orthogonale de$y$sur le sous-espace couvert par$x_1$peut être écrit comme$\hat{y}_1 = \hat{\beta}_1 x_1$, c'est-à-dire une combinaison linéaire de$x_1$. Maintenant, nous faisons la même chose pour la projection orthogonale de$y$sur$x_2$et trouve$\hat{y}_2 = \hat{\beta}_2 x_2$.

On a aussi la projection de$y$sur le sous-espace couvert par les deux$x_1, x_2$et trouve$\hat{y}_{12} = \hat{\gamma}_1 x_1 + \hat{\gamma}_2x_2$.

Sans perte de généralité, nous pouvons dire que les vecteurs$x_1$et$x_2$sont des vecteurs unitaires et les représentent par$\hat{x_1}$et$\hat{x_2}$. Si vous ne voulez pas faire cela, réécrivez tous les vecteurs en termes de$\hat{x_1}$et$\hat{x_2}$. Ainsi par exemple,$\hat{\beta_1}$va devenir$\hat{\beta_1} ||x_1||$

Maintenant, considérez cette déclaration. La projection orthogonale de$\hat{y_{12}}$sur$x_1$serait le même que$\hat{y_1}$et la projection orthogonale de$\hat{y_{12}}$sur$x_2$serait le même que$\hat{y_2}$.

Ainsi, par la définition de la projection,

$$ \hat{y_{12}}.\hat{x_1} = ||\hat{y_1}|| $$

$$ \implies (\hat{\gamma}_1 \hat{x_1} + \hat{\gamma}_2 \hat{x_2}).\hat{x_1} = ||\hat{y_1}||$$

$$ \implies \hat{\gamma}_1 \hat{x_1}.\hat{x_1} + \hat{\gamma}_2 \hat{x_2}.\hat{x_1} = \hat{\beta}_1$$

$$ \implies \hat{\gamma}_1 + \hat{\gamma}_2 \hat{x_2}.\hat{x_1} = \hat{\beta}_1 \tag{1}$$

De même on peut résoudre$ \hat{y_{12}}.\hat{x_1} = ||\hat{y_2}|| $pour obtenir

$$ \implies \hat{\gamma}_1 \hat{x_1}.\hat{x_2} + \hat{\gamma}_2 = \hat{\beta}_2 \tag{2}$$

Voilà. Nous avons 2 équations et 2 inconnues.

Il faut évidemment connaître la valeur de$\hat{x_1}.\hat{x_2}$, c'est-à-dire le cosinus de l'angle entre eux, pour obtenir les relations recherchées. Dans le cas où$\hat{x_1}$et$\hat{x_2}$sont orthogonaux,$cos \frac{\pi}{2}=0$et d'où le résultat que tu as donné$\hat{\beta}_i = \hat{\gamma}_i$.