그람 행렬 미분

Question

행렬 반환 함수가 있습니다. $M=AXX^\top A^\top$, 그리고 각 요소에 대한 파생어에 대한 표현을 찾고 있습니다. $X$. 여기$A$ 이다 $n\times n$ 과 $X$ 이다 $n\times m$ 와 $m\leq n$

그래서 나는 형태의 무언가를 찾고 있습니다 $\frac{\partial M}{\partial X_{ij}} = D^{ij}$ 와 $D^{ij}_{kl} = \frac{\partial M_{kl}}{\partial X_{ij}}$.

Matrix Cookbook을 훑어 보면서 도움이 될 것 같은 일반적인 표현을 찾을 수 없었습니다.

내가 찾을 수있는 가장 가까운 것은 정체성이었습니다.$$\frac{\partial}{\partial X} b^\top X^\top X c = X (bc^\top + cb^\top)$$ 어디 $b$ 과 $c$벡터입니다. 여기에 해결책이 포함되어있을 것 같지만 일반화하는 방법을 잘 모르겠습니다.

Answer 1

우리는 미분을 계산할 수 있습니다 $\frac{dM}{dX}$ 방향성 미분 : \begin{align*} \frac{dM}{dX}(Y) &= \lim_{t \to 0} \frac{M(X + tY) - M(X)}{t} = \lim_{t \to 0} \frac{A(X+tY) (X+tY)^\top A^\top - AXX^\top A^\top}{t} \, . \end{align*} 분자를 단순화하면 \begin{align*} A(X+tY) (X^\top+tY^\top) A^\top - AXX^\top A^\top &= A(X+tY) (X^\top+tY^\top) A^\top - AXX^\top A^\top\\ &= A (X X^\top + tY X^\top + tXY^\top + t^2 Y Y^\top) A^\top - AXX^\top A^\top\\ &= tA(Y X^\top + XY^\top)A^\top + t^2 A Y Y^\top A^\top \, . \end{align*} 그러므로 \begin{align*} \lim_{t \to 0} \frac{A(X+tY) (X+tY)^\top A^\top - AXX^\top A^\top}{t} &= \lim_{t \to 0} \frac{tA(Y X^\top + XY^\top)A^\top + t^2 A Y Y^\top A^\top}{t}\\ &= \lim_{t \to 0} A(Y X^\top + XY^\top)A^\top + t A Y Y^\top A^\top\\ &= A(Y X^\top + XY^\top)A^\top \, . \end{align*}

의견에서 언급했듯이 부분 $\frac{\partial M}{\partial X_{ij}}$ 다음으로 대체하여 찾을 수 있습니다. $Y = E_{ij}$, a 행렬 $1$ 에 $i,j$다른 곳에서 항목과 0. 그래서\begin{align*} \frac{\partial M}{\partial X_{ij}} &= \frac{dM}{dX}(E_{ij}) = A(E_{ij} X^\top + XE_{ij}^\top)A^\top = A(E_{ij} X^\top + X E_{ji})A^\top \, . \end{align*}