Diferencial de matriz de Gram

Question

Tengo la función con valores de matriz $M=AXX^\top A^\top$, y estoy buscando una expresión para su derivada con respecto a cada elemento de $X$. Aquí$A$ es $n\times n$ y $X$ es $n\times m$ con $m\leq n$

Entonces estoy buscando algo de la forma $\frac{\partial M}{\partial X_{ij}} = D^{ij}$ con $D^{ij}_{kl} = \frac{\partial M_{kl}}{\partial X_{ij}}$.

Buscando en el libro de cocina de Matrix, no pude encontrar esta ni ninguna expresión más general que pareciera que sería útil.

Lo más cercano que pude encontrar fue la identidad:$$\frac{\partial}{\partial X} b^\top X^\top X c = X (bc^\top + cb^\top)$$ dónde $b$ y $c$son vectores. Siento que esto puede contener la solución, pero no estoy seguro de cómo generalizarlo.

Answer 1

Podemos calcular la derivada $\frac{dM}{dX}$ como derivada direccional: \begin{align*} \frac{dM}{dX}(Y) &= \lim_{t \to 0} \frac{M(X + tY) - M(X)}{t} = \lim_{t \to 0} \frac{A(X+tY) (X+tY)^\top A^\top - AXX^\top A^\top}{t} \, . \end{align*} Simplificando el numerador, encontramos \begin{align*} A(X+tY) (X^\top+tY^\top) A^\top - AXX^\top A^\top &= A(X+tY) (X^\top+tY^\top) A^\top - AXX^\top A^\top\\ &= A (X X^\top + tY X^\top + tXY^\top + t^2 Y Y^\top) A^\top - AXX^\top A^\top\\ &= tA(Y X^\top + XY^\top)A^\top + t^2 A Y Y^\top A^\top \, . \end{align*} Así \begin{align*} \lim_{t \to 0} \frac{A(X+tY) (X+tY)^\top A^\top - AXX^\top A^\top}{t} &= \lim_{t \to 0} \frac{tA(Y X^\top + XY^\top)A^\top + t^2 A Y Y^\top A^\top}{t}\\ &= \lim_{t \to 0} A(Y X^\top + XY^\top)A^\top + t A Y Y^\top A^\top\\ &= A(Y X^\top + XY^\top)A^\top \, . \end{align*}

Como se menciona en los comentarios, el parcial $\frac{\partial M}{\partial X_{ij}}$ luego se puede encontrar sustituyendo $Y = E_{ij}$, la matriz con un $1$ en el $i,j$entrada y ceros en otros lugares. Entonces\begin{align*} \frac{\partial M}{\partial X_{ij}} &= \frac{dM}{dX}(E_{ij}) = A(E_{ij} X^\top + XE_{ij}^\top)A^\top = A(E_{ij} X^\top + X E_{ji})A^\top \, . \end{align*}