การหาอนุพันธ์เมทริกซ์ $\| \left| \mathbf{X}\mathbf{W}\right|-\mathbf{1}_{n \times K} \| ^2_F$ ด้วยความเคารพ W

Question

ฉันกำลังพยายามหาอนุพันธ์เมทริกซ์ของฟังก์ชันต่อไปนี้ที่เกี่ยวกับ $\bf W$:

\ เริ่มต้น {สมการ} \ | \ ซ้าย | \ mathbf {X} \ mathbf {W} \ right | - \ mathbf {1} _ {n \ times K} \ | ^ 2_F \\ \ end {สมการ}

ที่ไหน $\mathbf{X}$ คือ $n \times d$, $\mathbf{W}$ คือ $d \times K$ และ $\mathbf{1}_{n \times K}$ เป็น marix ที่มีองค์ประกอบทั้งหมดเป็นหนึ่งเดียว $\| \cdot \|_F$ เป็นบรรทัดฐาน Frobenius และ $\left| \mathbf{X}\mathbf{W}\right|$ เป็นองค์ประกอบที่ชาญฉลาดค่าสัมบูรณ์ของ $\mathbf{X}\mathbf{W}$.

ความช่วยเหลือใด ๆ จะได้รับการชื่นชมอย่างมาก

Answer 1

เพื่อความสะดวกในการพิมพ์ให้กำหนดเมทริกซ์ $$\eqalign{ Y &= XW \\ J &= 1_{n\times K} \qquad&({\rm all\,ones\,matrix}) \\ S &= {\rm sign}(Y) \\ A &= S\odot Y \qquad&({\rm absolute\,value\,of\,}Y) \\ B &= A-J \\ Y &= S\odot A \qquad&({\rm sign\,property}) \\ }$$ ที่ไหน $\odot$หมายถึงผลิตภัณฑ์ elementwise / Hadamard และฟังก์ชัน sign ถูกนำไปใช้ element-wise ใช้ตัวแปรใหม่เหล่านี้เพื่อเขียนฟังก์ชันใหม่จากนั้นคำนวณการไล่ระดับสี$$\eqalign{ \phi &= \|B\|_F^2 \\&= B:B \\ d\phi &= 2B:dB \\ &= 2(A-J):dA \\ &= 2(A-J):S\odot dY \\ &= 2S\odot(A-J):dY \\ &= 2(Y-S):dY \\ &= 2(Y-S):X\,dW \\ &= 2X^T(Y-S):dW \\ \frac{\partial\phi}{\partial W} &= 2X^T(Y-S) \\ }$$ โดยที่เครื่องหมายจุดคู่หมายถึงผลิตภัณฑ์ trace / Frobenius กล่าวคือ $$\eqalign{ A:B = {\rm Tr}(A^TB) = {\rm Tr}(AB^T) = B:A }$$ คุณสมบัติแบบวนรอบของการติดตามทำให้ผลิตภัณฑ์ดังกล่าวสามารถจัดเรียงใหม่ได้หลายวิธี $$\eqalign{ A:BC &= B^TA:C \\ &= AC^T:B \\ }$$ ในที่สุดเมื่อ $(A,B,C)$ มีขนาดเท่ากันผลิตภัณฑ์ Hadamard และ Frobenius ของพวกเขาเดินทางซึ่งกันและกัน $$\eqalign{ A:B\odot C &= A\odot B:C \\\\ }$$ หมายเหตุ:เมื่อเป็นองค์ประกอบของ$\,Y$เท่ากับศูนย์การไล่ระดับสีไม่ได้กำหนดไว้ พฤติกรรมนี้คล้ายกับอนุพันธ์ของ$\,|x|\,$ ในกรณีสเกลาร์