Maximale diskrete Entropieverteilung
In Mustererkennung und maschinellem Lernen verwendet der Autor Lagrange-Multiplikatoren, um die diskrete Verteilung mit maximaler Entropie zu finden.
Entropie wird definiert durch;
$$H=-\sum_i p(x_i)\ln(p(x_i))$$
und die bei der Optimierung verwendete Einschränkung besteht darin, dass sich die Wahrscheinlichkeiten zu 1 summieren.
Daher ist der Lagrange definiert als
$$ \widetilde{H}=-\sum_i p(x_i)\ln(p(x_i))+\lambda(\sum_i p(x_i)-1) $$
Nehmen Sie die erste partielle Ableitung und setzen Sie sie gleich Null $p(x_i)=1/M$, wo $M$ ist die Anzahl der Werte, die $x_i$ annimmt.
Für die erste partielle Ableitung habe ich bekommen $$ \frac{\partial \widetilde{H}}{\partial p(x_i)}=-\sum_i [\ln(p(x_i))+1]+\lambda M$$
Der Autor gibt dann an, dass wir, um zu überprüfen, ob der stationäre Punkt ein Maximum ist, die zweite partielle Ableitung bewerten, die ergibt;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)}=-I_{ij}\frac{1}{p_(x_i)}$$
wo $I_{ij}$ sind die Elemente der Identitätsmatrix.
Ich würde gerne wissen, warum dies die zweite partielle Ableitung ist (wie man sie ableitet) und warum dies bedeutet, dass der stationäre Punkt ein Maximum ist.
Ich denke, der Autor spricht möglicherweise über das Hessische und nicht über die zweite partielle Ableitung, da sie einer Matrix keine Funktion geben.
Wenn ich dieser Argumentation folge, wenn ich die zweite Ableitung nehme, die ich bekomme;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_i)}=-\sum_i \frac{1}{p(x_i)}$$
Wenn ich die zweite partielle Ableitung nehme, wrt $j$ zum $i\ne j$ Ich bekomme;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)}=0 \quad \quad (i \ne j) $$
Deshalb;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)} = -I_{ij} \sum_i \frac{1}{p(x_i)}$$
Aber die Summe fehlt im gegebenen Ausdruck für den Hessischen.
Antworten
Sie müssen beachten, dass der Index in der Summierung ein "Dummy-Index" ist, für den er nur ein Platzhalter ist $1,2,3,\cdots$. Daher ist es nicht dasselbe$i$das erscheint in der Ableitung! Wir können unsere Notation klarstellen, indem wir die Indizes mit verschiedenen Buchstaben schreiben:
$$\tilde H=-\sum_k p(x_k)\ln p(x_k) +\lambda\left(\sum_k p(x_k)-1\right)$$
Nun differenzieren wir weiter $p(x_i)$. Die Bedingungen$k\neq i$ verschwinden, weil sie nicht abhängig sind $p(x_i)$, also müssen wir nur den Begriff mit unterscheiden $k=i$::
$$\frac{\partial\tilde H}{\partial p(x_i)}=-1-\ln p(x_i)+\lambda$$
Nun, wenn wir weiter differenzieren $p(x_i)$ wieder bekommen wir:
$$\frac{\partial^2\tilde H}{\partial p(x_i)^2}=-\frac{1}{p(x_i)}$$
Auf der anderen Seite, wenn wir weiter differenzieren $p(x_j)$ wo $j\neq i$::
$$\frac{\partial^2\tilde H}{\partial p(x_i)\partial p(x_j)}=0$$
Wir können dies kompakt ausdrücken als:
$$\frac{\partial^2\tilde H}{\partial p(x_i)\partial p(x_j)}=-I_{ij}\frac{1}{p(x_i)}$$
Die Matrix mit Elementen, die durch diese Formel gegeben sind, ist, wie Sie sagten, die hessische Matrix dieser Funktion. Da es sich um eine Diagonalmatrix mit nur negativen Einträgen handelt, handelt es sich um eine negativ definierte Matrix , was bedeutet, dass diese Funktionen ein globales Maximum erreichen, wenn ihr Gradient Null ist.