Apa parameter model di PCA? [Tutup]

Question

Saya telah diminta untuk melaporkan jumlah parameter yang harus dipelajari dalam model PCA. Jawaban ini menyiratkan bahwa parameter memang ada di PCA, tetapi tidak menjelaskan. Paket perangkat lunak sering melaporkan jumlah parameter, tetapi tidak mendokumentasikan parameter tersebut .

Apa sajakah parameter dalam model PCA? Pertanyaan tambahan: berapa banyak parameter yang ada?

Untuk lebih jelasnya - saya tidak bertanya tentang model hyperparameter.

Answer 1

Dari sudut pandang aljabar, PCA adalah perubahan dasar. Anda dapat menulis transformasi sebagai:

$$ T = XW $$

Dimana $X$ adalah matriks nxp (n instance, fitur p) dan $W$ adalah matriks 'bobot' pxp (yang kolomnya adalah vektor eigen $X^TX$- menerjemahkan satu basis ke basis lainnya). Oleh karena itu PCA umum memilikinya$p^2$ koefisien.

Anda juga dapat mengurangi ruang menjadi m dimensi dan menggunakan:

$$ T = XW_m $$

Dimana $W_m$ adalah matriks bobot yang terdiri dari m kolom pertama $W$. $W_m$adalah matriks bobot pxm dan memiliki koefisien pxm (atau lebih mudah dipahami: koefisien mxp, yaitu jumlah dimensi yang disimpan dan parameter yang diperlukan untuk menyatakan vektor dasar baru dalam bentuk basis awal). Dalam kasus proyeksi ke 2 dimensi, Anda akan mendapatkan koefisien 2p.