Intuisi di balik matriks proyeksi
Saya baru mengenal pembelajaran mesin dan menemukan matriks proyeksi. Di utas acak itu diartikan sebagai
Matriks $X(X^\text{T} X)^{-1} X^\text{T}$ adalah matriks proyeksi, karena ia melakukan hal itu: transformasi linierlah yang secara ortogonal memproyeksikan sebuah vektor ke rentang vektor yang terdiri dari $X$.
Saya mengalami kesulitan untuk memahami konsep yang mendasari di balik ini dan bagaimana ini terkait dengan regresi linier. Beberapa kasus penggunaan dan intuisi dalam pembelajaran mesin dan pembelajaran mendalam akan membantu.
Dan saya mengambil kebalikan adalah membatalkan proses tetapi apa artinya ini di sini?
Jawaban
Misalkan kita memiliki vektor-n $y$ dan sebuah $n$ oleh $p$ matriks $X$. Subruang$S$ direntang oleh $p$ kolom dari $X$ adalah himpunan vektor yang dibentuk dengan mengambil semua kemungkinan kombinasi linier dari kolom $X$(jumlah tak terbatas). Misalnya, jika$X$ terdiri dari dua kolom bukan nol yang tidak terletak di atas satu sama lain $S$ akan menjadi pesawat melalui asalnya.
Proyeksi $y$ di $S$ adalah intinya $\hat{y}$ di $S$ yang paling dekat dengan $y$. Lihat diagram di Why is$\mathbf{y}-\mathbf{\hat{y}}$ tegak lurus dengan subruang yang direntang oleh $\mathbf{x}$dalam regresi linier? dimana kita$S$ adalah area kuning di diagram itu.
Proyeksi memiliki properti itu $\hat{y}$ dan $y-\hat{y}$bersifat ortogonal. Ini pasti begitu karena jika kita mengambil poin lain$p$ di $S$ kemudian segitiga dibentuk oleh ujung $y$, $\hat{y}$ dan $p$ adalah segitiga siku-siku tempat segmen berasal $y$ untuk $p$ adalah sisi miring dan karena sisi miring adalah sisi terpanjang $p$ tidak bisa lebih dekat $y$ dari $\hat{y}$.
Properti lain yang perlu diperhatikan adalah proyeksi $\hat{y}$ di $S$ hanya $\hat{y}$ lagi sejak $\hat{y}$ sudah ada di $S$.
Regresi dari $y$ di $X$ hanyalah proyeksi dari $y$ di $S$ dan koefisien regresi, vektor $\hat{b}$, adalah vektor itu $X$ memetakan ke $\hat{y}$, yaitu $\hat{y} = X\hat{b}$. (Ini akan menjadi unik jika$X$ adalah peringkat penuh, yaitu jika tidak ada yang bukan nol $b$ seperti yang $Xb = 0$.) $\hat{y}$ disebut sebagai nilai pas dan $e=y-\hat{y}$disebut sebagai residu. Dari atas$y = \hat{y} + e$ dan suku-suku di sisi kanan, yaitu nilai yang sesuai $\hat{y}$ dan residu $e$, Ortogonal satu sama lain. (Hal ini juga benar dari teorema Pythagoras$||y||^2 = ||\hat{y}||^2 + ||e||^2$ karena intinya $0$, $y$ dan $\hat{y}$ membentuk segitiga siku-siku tempat sisinya berasal $0$ ke ujung $y$ adalah sisi miringnya.)
Kita dapat mendemonstrasikan ketepatan titik mengambang komputer modulo ortogonalitas $e$ untuk $X$ dan untuk $\hat{y}$ di R menggunakan bingkai data BOD bawaan seperti ini:
fm <- lm(demand ~ Time, BOD)
X <- model.matrix(fm)
yhat <- fitted(fm)
e <- resid(fm)
crossprod(X, e)
## [,1]
## (Intercept) -8.881784e-16
## Time 0.000000e+00
crossprod(yhat, e)
## [,1]
## [1,] -1.776357e-15
Untuk membuat matriks proyeksi dari atas, kita mengalikan persamaan pertama di bawah dengan $X'$ memberikan yang kedua tapi $X'e$ nol sejak $e$ adalah ortogonal $S$ dan karenanya ke kolom $X$ memberikan persamaan ketiga.
$y = X\hat{b} + e$
$X'y = X'X\hat{b} + X'e$
$X'y = X'X\hat{b}$
Sekarang dalam kasus biasa di mana kolom $X$ independen linier $X'X$ bisa dibalik jadi kalikan dengan $(X'X)^{-1}$ memberi $\hat{b} = (X'X)^{-1} X'y$ dan sejak $\hat{y} = X\hat{b}$ kita punya $\hat{y} = X(X'X)^{-1} X'y$ jadi karena proyeksi adalah matriks, ini mewakili transformasi linier.