グラム行列微分

Question

行列値関数があります $M=AXX^\top A^\top$、およびの各要素に関するその導関数の式を探しています $X$。ここに$A$ です $n\times n$ そして $X$ です $n\times m$ と $m\leq n$

だから私は形の何かを探しています $\frac{\partial M}{\partial X_{ij}} = D^{ij}$ と $D^{ij}_{kl} = \frac{\partial M_{kl}}{\partial X_{ij}}$。

Matrix Cookbookを調べてみると、これや、役立つと思われる一般的な表現を見つけることができませんでした。

私が見つけた最も近いものはアイデンティティでした：$$\frac{\partial}{\partial X} b^\top X^\top X c = X (bc^\top + cb^\top)$$ どこ $b$ そして $c$ベクトルです。これには解決策が含まれているように感じますが、一般化する方法がわかりません。

Answer 1

導関数を計算できます $\frac{dM}{dX}$ 方向微分として： \begin{align*} \frac{dM}{dX}(Y) &= \lim_{t \to 0} \frac{M(X + tY) - M(X)}{t} = \lim_{t \to 0} \frac{A(X+tY) (X+tY)^\top A^\top - AXX^\top A^\top}{t} \, . \end{align*} 分子を単純化すると、 \begin{align*} A(X+tY) (X^\top+tY^\top) A^\top - AXX^\top A^\top &= A(X+tY) (X^\top+tY^\top) A^\top - AXX^\top A^\top\\ &= A (X X^\top + tY X^\top + tXY^\top + t^2 Y Y^\top) A^\top - AXX^\top A^\top\\ &= tA(Y X^\top + XY^\top)A^\top + t^2 A Y Y^\top A^\top \, . \end{align*} したがって、 \begin{align*} \lim_{t \to 0} \frac{A(X+tY) (X+tY)^\top A^\top - AXX^\top A^\top}{t} &= \lim_{t \to 0} \frac{tA(Y X^\top + XY^\top)A^\top + t^2 A Y Y^\top A^\top}{t}\\ &= \lim_{t \to 0} A(Y X^\top + XY^\top)A^\top + t A Y Y^\top A^\top\\ &= A(Y X^\top + XY^\top)A^\top \, . \end{align*}

コメントで述べたように、部分的 $\frac{\partial M}{\partial X_{ij}}$ 次に、代入することで見つけることができます $Y = E_{ij}$、との行列 $1$ の中に $i,j$エントリと他の場所のゼロ。そう\begin{align*} \frac{\partial M}{\partial X_{ij}} &= \frac{dM}{dX}(E_{ij}) = A(E_{ij} X^\top + XE_{ij}^\top)A^\top = A(E_{ij} X^\top + X E_{ji})A^\top \, . \end{align*}