Nilai eigen di regresi Ridge [duplikat]

Question

Estimasi regresi ridge diberikan oleh $$\beta^{*}=(X'X+kI)^{-1}X'y, k≥0,$$ dimana $X$adalah matriks fitur. Makalah asli, Hoerl dan Kennard's Ridge Regression: Biased Estimation for Nonorthogonal Problems , menyatakan bahwa eigenvalues,$\lambda_i$, dari $X'X$ terkait dengan nilai eigen, $\xi_i$, dari $W = (X'X+kI)^{-1}$ sebagai $\xi_i=1/(k+\lambda_i)$. Ekspresi ini mengikuti dari penyelesaian persamaan karakteristik$|W - \xi_iI|=0$. Saya hanya bisa membayangkan menggunakan representasi kofaktor dari determinan. Namun, kebalikannya$W$ memperumit masalah.

Bagaimana tepatnya seseorang menyelesaikan persamaan karakteristik ini?

Answer 1

Jika $\lambda$ adalah nilai eigen bukan nol dari matriks yang dapat dibalik $A$, kemudian $\lambda^{-1}$ adalah nilai eigen dari $A^{-1}$. Untuk menunjukkan ini, perhatikan bahwa jika$Av=\lambda v$ kemudian $v = A^{-1}(\lambda v) = \lambda A^{-1} v$ dan dengan demikian $\lambda^{-1} v = A^{-1} v$.