Mengambil turunan matriks $\| \left| \mathbf{X}\mathbf{W}\right|-\mathbf{1}_{n \times K} \| ^2_F$ sehubungan dengan W

Question

Saya mencoba untuk mengambil turunan matriks dari fungsi berikut sehubungan dengan $\bf W$:

\ begin {persamaan} \ | \ kiri | \ mathbf {X} \ mathbf {W} \ kanan | - \ mathbf {1} _ {n \ times K} \ | ^ 2_F \\ \ end {persamaan}

Dimana $\mathbf{X}$ aku s $n \times d$, $\mathbf{W}$ aku s $d \times K$ dan $\mathbf{1}_{n \times K}$ adalah marix dengan semua elemen satu. $\| \cdot \|_F$ adalah norma Frobenius dan $\left| \mathbf{X}\mathbf{W}\right|$ adalah nilai absolut dari elemen bijaksana $\mathbf{X}\mathbf{W}$.

Bantuan apa pun sangat dihargai.

Answer 1

Untuk kenyamanan mengetik, tentukan matriksnya $$\eqalign{ Y &= XW \\ J &= 1_{n\times K} \qquad&({\rm all\,ones\,matrix}) \\ S &= {\rm sign}(Y) \\ A &= S\odot Y \qquad&({\rm absolute\,value\,of\,}Y) \\ B &= A-J \\ Y &= S\odot A \qquad&({\rm sign\,property}) \\ }$$ dimana $\odot$menunjukkan hasil kali elemen / Hadamard dan fungsi tanda diterapkan berdasarkan elemen. Gunakan variabel baru ini untuk menulis ulang fungsi, lalu hitung gradiennya.$$\eqalign{ \phi &= \|B\|_F^2 \\&= B:B \\ d\phi &= 2B:dB \\ &= 2(A-J):dA \\ &= 2(A-J):S\odot dY \\ &= 2S\odot(A-J):dY \\ &= 2(Y-S):dY \\ &= 2(Y-S):X\,dW \\ &= 2X^T(Y-S):dW \\ \frac{\partial\phi}{\partial W} &= 2X^T(Y-S) \\ }$$ di mana titik dua menunjukkan jejak / produk Frobenius, yaitu $$\eqalign{ A:B = {\rm Tr}(A^TB) = {\rm Tr}(AB^T) = B:A }$$ Properti siklik dari jejak memungkinkan produk tersebut untuk diatur ulang dengan berbagai cara $$\eqalign{ A:BC &= B^TA:C \\ &= AC^T:B \\ }$$ Akhirnya, kapan $(A,B,C)$ semua berukuran sama, produk Hadamard dan Frobenius mereka saling bepergian $$\eqalign{ A:B\odot C &= A\odot B:C \\\\ }$$ NB: Ketika elemen$\,Y$sama dengan nol, gradien tidak ditentukan. Perilaku ini mirip dengan turunan dari$\,|x|\,$ dalam kasus skalar.