Vi phân ma trận gram

Question

Tôi có hàm giá trị ma trận $M=AXX^\top A^\top$và tôi đang tìm biểu thức cho phái sinh của nó liên quan đến từng phần tử của $X$. Đây$A$ Là $n\times n$ và $X$ Là $n\times m$ với $m\leq n$

Vì vậy, tôi đang tìm kiếm thứ gì đó có dạng $\frac{\partial M}{\partial X_{ij}} = D^{ij}$ với $D^{ij}_{kl} = \frac{\partial M_{kl}}{\partial X_{ij}}$.

Đọc qua Matrix Cookbook, tôi không thể tìm thấy điều này hoặc bất kỳ biểu thức chung nào khác có vẻ như chúng sẽ hữu ích.

Gần nhất tôi có thể tìm thấy danh tính:$$\frac{\partial}{\partial X} b^\top X^\top X c = X (bc^\top + cb^\top)$$ Ở đâu $b$ và $c$là các vectơ. Tôi cảm thấy như điều này có thể chứa giải pháp, nhưng tôi không chắc chắn về cách tổng quát hóa nó.

Answer 1

Chúng ta có thể tính đạo hàm $\frac{dM}{dX}$ như một đạo hàm có hướng: \begin{align*} \frac{dM}{dX}(Y) &= \lim_{t \to 0} \frac{M(X + tY) - M(X)}{t} = \lim_{t \to 0} \frac{A(X+tY) (X+tY)^\top A^\top - AXX^\top A^\top}{t} \, . \end{align*} Đơn giản hóa tử số, chúng tôi thấy \begin{align*} A(X+tY) (X^\top+tY^\top) A^\top - AXX^\top A^\top &= A(X+tY) (X^\top+tY^\top) A^\top - AXX^\top A^\top\\ &= A (X X^\top + tY X^\top + tXY^\top + t^2 Y Y^\top) A^\top - AXX^\top A^\top\\ &= tA(Y X^\top + XY^\top)A^\top + t^2 A Y Y^\top A^\top \, . \end{align*} Như vậy \begin{align*} \lim_{t \to 0} \frac{A(X+tY) (X+tY)^\top A^\top - AXX^\top A^\top}{t} &= \lim_{t \to 0} \frac{tA(Y X^\top + XY^\top)A^\top + t^2 A Y Y^\top A^\top}{t}\\ &= \lim_{t \to 0} A(Y X^\top + XY^\top)A^\top + t A Y Y^\top A^\top\\ &= A(Y X^\top + XY^\top)A^\top \, . \end{align*}

Như đã đề cập trong các ý kiến, phần $\frac{\partial M}{\partial X_{ij}}$ sau đó có thể được tìm thấy bằng cách thay thế $Y = E_{ij}$, ma trận với $1$ bên trong $i,j$mục nhập và số 0 ở những nơi khác. Vì thế\begin{align*} \frac{\partial M}{\partial X_{ij}} &= \frac{dM}{dX}(E_{ij}) = A(E_{ij} X^\top + XE_{ij}^\top)A^\top = A(E_{ij} X^\top + X E_{ji})A^\top \, . \end{align*}