Différentiel de matrice de Gram

Question

J'ai la fonction matricielle $M=AXX^\top A^\top$, et je cherche une expression pour son dérivé par rapport à chaque élément de $X$. Ici$A$ est $n\times n$ et $X$ est $n\times m$ avec $m\leq n$

Alors je cherche quelque chose de la forme $\frac{\partial M}{\partial X_{ij}} = D^{ij}$ avec $D^{ij}_{kl} = \frac{\partial M_{kl}}{\partial X_{ij}}$.

En parcourant le livre de recettes Matrix, je n'ai pas été en mesure de trouver cette expression ou d'autres expressions plus générales qui semblaient utiles.

Le plus proche que j'ai pu trouver était l'identité:$$\frac{\partial}{\partial X} b^\top X^\top X c = X (bc^\top + cb^\top)$$ où $b$ et $c$sont des vecteurs. J'ai l'impression que cela peut contenir la solution, mais je ne sais pas comment la généraliser.

Answer 1

On peut calculer la dérivée $\frac{dM}{dX}$ comme dérivé directionnel: \begin{align*} \frac{dM}{dX}(Y) &= \lim_{t \to 0} \frac{M(X + tY) - M(X)}{t} = \lim_{t \to 0} \frac{A(X+tY) (X+tY)^\top A^\top - AXX^\top A^\top}{t} \, . \end{align*} En simplifiant le numérateur, on trouve \begin{align*} A(X+tY) (X^\top+tY^\top) A^\top - AXX^\top A^\top &= A(X+tY) (X^\top+tY^\top) A^\top - AXX^\top A^\top\\ &= A (X X^\top + tY X^\top + tXY^\top + t^2 Y Y^\top) A^\top - AXX^\top A^\top\\ &= tA(Y X^\top + XY^\top)A^\top + t^2 A Y Y^\top A^\top \, . \end{align*} Donc \begin{align*} \lim_{t \to 0} \frac{A(X+tY) (X+tY)^\top A^\top - AXX^\top A^\top}{t} &= \lim_{t \to 0} \frac{tA(Y X^\top + XY^\top)A^\top + t^2 A Y Y^\top A^\top}{t}\\ &= \lim_{t \to 0} A(Y X^\top + XY^\top)A^\top + t A Y Y^\top A^\top\\ &= A(Y X^\top + XY^\top)A^\top \, . \end{align*}

Comme mentionné dans les commentaires, la partie $\frac{\partial M}{\partial X_{ij}}$ peut alors être trouvé en remplaçant $Y = E_{ij}$, la matrice avec un $1$ dans le $i,j$entrée et zéros ailleurs. Donc\begin{align*} \frac{\partial M}{\partial X_{ij}} &= \frac{dM}{dX}(E_{ij}) = A(E_{ij} X^\top + XE_{ij}^\top)A^\top = A(E_{ij} X^\top + X E_{ji})A^\top \, . \end{align*}