Proving Ridge Regression sangat cembung

Question

Definisi regresi ridge $$min_\beta||y-X\beta||_2^2+\lambda||\beta||_2^2, \lambda\ge0$$

Anda dapat membuktikan suatu fungsi sangat konveks jika turunan ke-2 lebih besar dari 0

Tapi sayangnya saya tidak tahu apakah ini cukup bukti karena itu mungkin $X^TX$ menjadi negatif dan $\lambda$ bisa 0. Kecuali jika saya melewatkan sesuatu.

Answer 1

"Anda dapat membuktikan bahwa suatu fungsi sangat konveks jika turunan ke-2 lebih besar dari 0"

Itu dalam satu dimensi. Fungsi multivariat berdiferensiasi dua kali lipat adalah konveks jika matriks turunan ke-2 bernilai semi-pasti positif, karena hal itu sesuai dengan turunan arah dalam segala arah menjadi non-negatif. Ini benar-benar konveks jika matriks turunan keduanya pasti positif.

Seperti yang Anda tunjukkan, fungsi ridge loss memiliki turunan kedua $2\lambda I +2X^TX$, yang pasti positif untuk semua $\lambda>0$ karena

• $\lambda I$ pasti positif untuk semua $\lambda>0$
• $X^TX$ adalah positif semi-pasti untuk semua $X$
• jumlah matriks pasti positif dan matriks semi pasti positif adalah pasti positif

Jika Anda tidak yakin tentang semua ini dan ingin memeriksanya lebih detail, ada baiknya untuk mengetahuinya $A$ adalah positif pasti iff $b^TAb>0$ untuk semua vektor kolom (bukan nol) $b$. Karena hubungan ini, banyak bukti matriks tentang kepastian positif hanya berasal dari penulisan bukti skalar tentang kepositifan dalam notasi matriks (termasuk hasil non-sepele seperti batas bawah Cramér-Rao untuk varians)

Answer 2

Lebih sedikit bukti, dan lebih banyak argumen yang meyakinkan (yang dapat mengarahkan Anda menuju bukti): kita semua setuju kuadrat terkecil biasa dengan matriks kovarian peringkat penuh $X^TX$sangat konveks (lihat Konveksitas regresi linier ), regresi ridge adalah bentuk OLS dengan data augmented (virtual), sehingga juga sangat konveks .

Augmentasi $X\text{aug} = \left[ \begin{matrix}X^T & \sqrt\lambda\mathbb I \end{matrix}\right]^T$ sebenarnya memastikan bahwa, di punggung bukit, $X\text{aug}^TX\text{aug}$ adalah peringkat penuh, karena terdiri dari penggabungan beberapa matriks identitas $\sqrt\lambda\mathbb I$.

Jadi, jika Anda dapat menunjukkan bahwa OLS yang setara benar-benar konveks, begitu pula regresi ridge.