Regularisierte lineare Regression mit Newtons Methode?

Question

Ich versuche die Newtonsche Methode anzuwenden

$\theta^{(t+1)} = \theta^{(t)} - [H^{(t)}]^{-1} [\nabla L(\theta^{(t)})]$ um die folgende Verlustfunktion zu minimieren

$L(\theta) = (y - X\theta)^T(y-X\theta) + \lambda \theta^T\theta$

Hier $\theta $ ist $n\times 1$ Vektor, $X $ ist $m\times n$ Matrix, $y $ ist $m\times 1$ Vektor und $H^t = \nabla^2 L(\theta^{(t)})$ ist der $n\times n$ Hessische Matrix

Ich habe folgende Details berechnet:

$\nabla L(\theta^{(t)}) = X^TX\theta^{(t)} + \lambda \theta^{(t)} - X^T y $ und

$H^t = X^TX + \lambda I_n$

Da ich weiß, dass es für die Verlustfunktion, die ich zu minimieren versuche, eine geschlossene Formlösung gibt, möchte ich Newtons Methode von Hand auf diese Verlustfunktion anwenden und diese geschlossene Form wieder erhalten ... Aber dabei stehe ich vor einer Herausforderung Problem. Das Hauptproblem ist die Berechnung der Umkehrung von$X^TX + \lambda I_n$

Wie mache ich das?

Answer 1

Ich glaube nicht, dass Sie wirklich die Inverse für diesen Zweck berechnen müssen. Ersatz$\nabla L$ zur Update-Funktion erhalten Sie

$$ \begin{align} \theta^{(t+1)} &= \theta^{(t)} - H^{-1} \left[ (X^t X + \lambda I_n) \theta^{(t)} - X^ty\right] \\ &= \theta^{(t)} - H^{-1} H \theta^{(t)} + H^{-1} X^ty \\ &= H^{-1} X^ty \end{align} $$Dies ist die geschlossene Lösung für die lineare Gratregression. Dies bedeutet, dass die Newtonsche Methode in einem Schritt konvergiert.