Eigenwerte in der Ridge-Regression [Duplikat]

Question

Die Gratregressionsschätzung ist gegeben durch $$\beta^{*}=(X'X+kI)^{-1}X'y, k≥0,$$ wo $X$ist die Merkmalsmatrix. Das Originalpapier, Hoerl und Kennards Ridge Regression: Bias Estimation for Nonorthogonal Problems , besagt, dass die Eigenwerte,$\lambda_i$, von $X'X$ beziehen sich auf Eigenwerte, $\xi_i$, von $W = (X'X+kI)^{-1}$ wie $\xi_i=1/(k+\lambda_i)$. Dieser Ausdruck ergibt sich aus der Lösung der charakteristischen Gleichung$|W - \xi_iI|=0$. Ich kann mir nur vorstellen, die Cofaktordarstellung der Determinante zu verwenden. Die Umkehrung in$W$ kompliziert die Sache.

Wie genau löst man diese charakteristische Gleichung?

Answer 1

Wenn $\lambda$ ist ein Eigenwert ungleich Null einer invertierbaren Matrix $A$, dann $\lambda^{-1}$ ist ein Eigenwert von $A^{-1}$. Um dies zu zeigen, beachten Sie, dass wenn$Av=\lambda v$ dann $v = A^{-1}(\lambda v) = \lambda A^{-1} v$ und somit $\lambda^{-1} v = A^{-1} v$.