Distribution discrète d'entropie maximale
Dans la reconnaissance de formes et l'apprentissage automatique, l'auteur utilise des multiplicateurs de Lagrange pour trouver la distribution discrète avec une entropie maximale.
L'entropie est définie par;
$$H=-\sum_i p(x_i)\ln(p(x_i))$$
et la contrainte utilisée dans l'optimisation est que les probabilités totalisent 1.
Par conséquent, le lagrangien est défini comme
$$ \widetilde{H}=-\sum_i p(x_i)\ln(p(x_i))+\lambda(\sum_i p(x_i)-1) $$
Prendre la première dérivée partielle et la définir égale à zéro donne $p(x_i)=1/M$, où $M$ est le nombre de valeurs qui $x_i$ prend.
Pour le premier dérivé partiel que j'ai obtenu $$ \frac{\partial \widetilde{H}}{\partial p(x_i)}=-\sum_i [\ln(p(x_i))+1]+\lambda M$$
L'auteur déclare alors que pour vérifier le point stationnaire est un maximum on évalue la seconde dérivée partielle qui donne;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)}=-I_{ij}\frac{1}{p_(x_i)}$$
où $I_{ij}$ sont les éléments de la matrice d'identité.
Je voudrais savoir pourquoi c'est la deuxième dérivée partielle (comment la dériver) et pourquoi cela signifie que le point stationnaire est un maximum.
Je pense que l'auteur parle peut-être de la toile de jute et non de la deuxième dérivée partielle puisqu'ils donnent une matrice et non une fonction.
Suivre cette ligne de raisonnement si je prends la deuxième dérivée que j'obtiens;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_i)}=-\sum_i \frac{1}{p(x_i)}$$
Si je prends la deuxième dérivée partielle par rapport à $j$ pour $i\ne j$ Je reçois;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)}=0 \quad \quad (i \ne j) $$
Donc;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)} = -I_{ij} \sum_i \frac{1}{p(x_i)}$$
Mais la sommation est absente dans l'expression donnée pour la toile de jute.
Réponses
Vous devez garder à l'esprit que l'index dans la sommation est un "index fictif", c'est seulement un espace réservé pour $1,2,3,\cdots$. Par conséquent, ce n'est pas la même chose$i$qui apparaît dans le dérivé! Nous pouvons clarifier notre notation en écrivant les indices avec des lettres différentes:
$$\tilde H=-\sum_k p(x_k)\ln p(x_k) +\lambda\left(\sum_k p(x_k)-1\right)$$
Maintenant, nous nous différencions sur $p(x_i)$. Les termes$k\neq i$ disparaissent parce qu'ils ne dépendent pas de $p(x_i)$, il suffit donc de différencier le terme par $k=i$:
$$\frac{\partial\tilde H}{\partial p(x_i)}=-1-\ln p(x_i)+\lambda$$
Maintenant, si nous nous différencions sur $p(x_i)$ encore une fois, nous obtenons:
$$\frac{\partial^2\tilde H}{\partial p(x_i)^2}=-\frac{1}{p(x_i)}$$
En revanche, si nous différencions sur $p(x_j)$ où $j\neq i$:
$$\frac{\partial^2\tilde H}{\partial p(x_i)\partial p(x_j)}=0$$
Nous pouvons exprimer cela de manière compacte comme:
$$\frac{\partial^2\tilde H}{\partial p(x_i)\partial p(x_j)}=-I_{ij}\frac{1}{p(x_i)}$$
La matrice avec les éléments donnés par cette formule est, comme vous l'avez dit, la matrice de hesse de cette fonction. Puisqu'il s'agit d'une matrice diagonale avec des entrées négatives uniquement, il s'agit d'une matrice définie négative , ce qui implique que cette fonction atteint un maximum global chaque fois que son gradient est nul.