最大エントロピー離散分布
パターン認識と機械学習では、著者はラグランジュ乗数を使用して、最大エントロピーを持つ離散分布を見つけます。
エントロピーは次のように定義されます。
$$H=-\sum_i p(x_i)\ln(p(x_i))$$
最適化で使用される制約は、確率の合計が1になることです。
したがって、ラグランジュは次のように定義されます。
$$ \widetilde{H}=-\sum_i p(x_i)\ln(p(x_i))+\lambda(\sum_i p(x_i)-1) $$
一次偏導関数を取り、それをゼロに設定すると、 $p(x_i)=1/M$、 どこ $M$ は値の数です $x_i$ 引き受けます。
私が得た最初の偏導関数について $$ \frac{\partial \widetilde{H}}{\partial p(x_i)}=-\sum_i [\ln(p(x_i))+1]+\lambda M$$
次に、著者は、停留点が最大であることを確認するために、次の2次偏導関数を評価すると述べています。
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)}=-I_{ij}\frac{1}{p_(x_i)}$$
どこ $I_{ij}$ 単位行列の要素です。
これが2次偏導関数である理由（どのように導出するか）と、停留点が最大であることを意味する理由を知りたいです。
ヘッセ行列は関数ではなく行列を与えるので、著者は2次偏導関数ではなくヘッセ行列について話しているのではないかと思います。
私が得た二次導関数を取る場合、この推論の線に従ってください。
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_i)}=-\sum_i \frac{1}{p(x_i)}$$
二次偏導関数wrtを取る場合 $j$ ために $i\ne j$ 私は得る;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)}=0 \quad \quad (i \ne j) $$
したがって、
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)} = -I_{ij} \sum_i \frac{1}{p(x_i)}$$
しかし、ヘシアンの与えられた式には合計がありません。
回答
合計のインデックスは「ダミーインデックス」であり、のプレースホルダーにすぎないことに注意する必要があります。 $1,2,3,\cdots$。したがって、それは同じではありません$i$それは導関数に現れます！インデックスを異なる文字で書くことで、表記を明確にすることができます。
$$\tilde H=-\sum_k p(x_k)\ln p(x_k) +\lambda\left(\sum_k p(x_k)-1\right)$$
今、私たちは差別化します $p(x_i)$。用語$k\neq i$ 彼らは依存していないので消える $p(x_i)$、したがって、用語を次のように区別するだけで済みます。 $k=i$：
$$\frac{\partial\tilde H}{\partial p(x_i)}=-1-\ln p(x_i)+\lambda$$
さて、差別化すれば $p(x_i)$ 繰り返しますが、次のようになります。
$$\frac{\partial^2\tilde H}{\partial p(x_i)^2}=-\frac{1}{p(x_i)}$$
一方、私たちが差別化する場合 $p(x_j)$ どこ $j\neq i$：
$$\frac{\partial^2\tilde H}{\partial p(x_i)\partial p(x_j)}=0$$
これは次のようにコンパクトに表現できます。
$$\frac{\partial^2\tilde H}{\partial p(x_i)\partial p(x_j)}=-I_{ij}\frac{1}{p(x_i)}$$
この式で与えられる要素を持つ行列は、あなたが言ったように、この関数のヘッセ行列です。これは負のエントリのみを持つ対角行列であるため、これは負の確定行列です。これは、この関数が勾配がゼロの場合は常にグローバル最大値を達成することを意味します。