Intuition hinter der Projektionsmatrix
Ich bin neu im maschinellen Lernen und bin auf Projektionsmatrix gestoßen. In einem zufälligen Thread wurde es interpretiert als
Die Matrix $X(X^\text{T} X)^{-1} X^\text{T}$ ist eine Projektionsmatrix, da sie genau das tut: Es ist die lineare Transformation, die orthogonal einen Vektor auf die Spanne der Vektoren projiziert, aus denen sie besteht $X$.
Es fällt mir schwer, das zugrunde liegende Konzept dahinter zu verstehen und wie dies mit der linearen Regression zusammenhängt. Einige Intuitions- und Anwendungsfälle beim maschinellen Lernen und beim tiefen Lernen würden helfen.
Und wenn ich invers gehe, wird der Prozess rückgängig gemacht, aber was bedeutet das hier?
Antworten
Angenommen, wir haben einen n-Vektor $y$ und ein $n$ durch $p$ Matrix $X$. Der Unterraum$S$ überspannt von der $p$ Spalten von $X$ ist die Menge von Vektoren, die gebildet wird, indem alle möglichen linearen Kombinationen der Spalten von genommen werden $X$(eine unendliche Zahl). Zum Beispiel wenn$X$ besteht aus zwei Spalten ungleich Null, die dann nicht übereinander liegen $S$ wird eine Ebene durch den Ursprung sein.
Die Projektion von $y$ auf $S$ ist der Punkt $\hat{y}$ im $S$ das ist am nächsten $y$. Siehe das Diagramm unter Warum ist$\mathbf{y}-\mathbf{\hat{y}}$ senkrecht zu dem von überspannten Unterraum $\mathbf{x}$in linearer Regression? wo unsere$S$ ist der gelbe Bereich in diesem Diagramm.
Die Projektion hat die Eigenschaft, dass $\hat{y}$ und $y-\hat{y}$sind orthogonal. Dies muss so sein, denn wenn wir einen anderen Punkt nehmen$p$ im $S$ dann das Dreieck aus den Spitzen von $y$, $\hat{y}$ und $p$ ist ein rechtwinkliges Dreieck, in dem das Segment von $y$ zu $p$ ist die Hypotenuse und da die Hypotenuse die längste Seite ist $p$ kann nicht näher sein $y$ als $\hat{y}$.
Eine weitere zu beachtende Eigenschaft ist die Projektion von $\hat{y}$ auf $S$ ist nur $\hat{y}$ wieder da $\hat{y}$ liegt schon in $S$.
Die Regression von $y$ auf $X$ ist nur die Projektion von $y$ auf $S$ und die Regressionskoeffizienten der Vektor $\hat{b}$ist der Vektor, der $X$ Karten zu $\hat{y}$dh $\hat{y} = X\hat{b}$. (Es wird einzigartig sein, wenn$X$ ist von vollem Rang, dh wenn es keinen Wert ungleich Null gibt $b$ so dass $Xb = 0$.) $\hat{y}$ wird als angepasste Werte bezeichnet und $e=y-\hat{y}$wird als Residuen bezeichnet. Von Oben$y = \hat{y} + e$ und die Begriffe auf der rechten Seite, dh die angepassten Werte $\hat{y}$ und die Residuen $e$sind orthogonal zueinander. (Es ist auch aus dem Satz von Pythagoras wahr, dass$||y||^2 = ||\hat{y}||^2 + ||e||^2$ weil die Punkte $0$, $y$ und $\hat{y}$ bilden ein rechtwinkliges Dreieck, von dem aus die Seite von $0$ an die Spitze von $y$ ist die Hypotenuse.)
Wir können die Gleitkommapräzision des Orthogonalitätsmodulo-Computers von demonstrieren $e$ zu $X$ und zu $\hat{y}$ in R unter Verwendung des eingebauten BSB-Datenrahmens wie folgt:
fm <- lm(demand ~ Time, BOD)
X <- model.matrix(fm)
yhat <- fitted(fm)
e <- resid(fm)
crossprod(X, e)
## [,1]
## (Intercept) -8.881784e-16
## Time 0.000000e+00
crossprod(yhat, e)
## [,1]
## [1,] -1.776357e-15
Um die Projektionsmatrix von oben zu konstruieren, multiplizieren wir die erste Gleichung unten mit $X'$ das zweite aber geben $X'e$ ist Null seit $e$ ist orthogonal zu $S$ und damit zu den Spalten von $X$ Geben der dritten Gleichung.
$y = X\hat{b} + e$
$X'y = X'X\hat{b} + X'e$
$X'y = X'X\hat{b}$
Nun im Normalfall wo die Spalten von $X$ sind linear unabhängig $X'X$ ist invertierbar, also multiplizieren Sie mit $(X'X)^{-1}$ geben $\hat{b} = (X'X)^{-1} X'y$ und seit $\hat{y} = X\hat{b}$ wir haben $\hat{y} = X(X'X)^{-1} X'y$ Da die Projektion eine Matrix ist, repräsentiert sie eine lineare Transformation.