Ridge regresyonunda özdeğerler [duplicate]

Question

Sırt regresyon tahmini şu şekilde verilir: $$\beta^{*}=(X'X+kI)^{-1}X'y, k≥0,$$ nerede $X$özellik matrisidir. Orijinal makale, Hoerl ve Kennard's Ridge Regresyon: Ortogonal Olmayan Problemler için Önyargılı Tahmin , özdeğerlerin,$\lambda_i$, nın-nin $X'X$ özdeğerlerle ilgilidir, $\xi_i$, nın-nin $W = (X'X+kI)^{-1}$ gibi $\xi_i=1/(k+\lambda_i)$. Bu ifade, karakteristik denklemi çözmekten kaynaklanır$|W - \xi_iI|=0$. Sadece determinantın kofaktör temsilini kullanmayı hayal edebiliyorum. Ancak, tersi$W$ işleri karmaşıklaştırır.

Bu karakteristik denklem tam olarak nasıl çözülür?

Answer 1

Eğer $\lambda$ tersinir bir matrisin sıfır olmayan bir özdeğeridir $A$, sonra $\lambda^{-1}$ bir özdeğerdir $A^{-1}$. Bunu göstermek için şunu unutmayın:$Av=\lambda v$ sonra $v = A^{-1}(\lambda v) = \lambda A^{-1} v$ ve böylece $\lambda^{-1} v = A^{-1} v$.