Distribusi Diskrit Entropi Maksimum
Dalam Pengenalan Pola dan Pembelajaran Mesin penulis menggunakan pengali Lagrange untuk menemukan distribusi diskrit dengan entropi maksimum.
Entropi didefinisikan oleh;
$$H=-\sum_i p(x_i)\ln(p(x_i))$$
dan kendala yang digunakan dalam pengoptimalan adalah probabilitasnya berjumlah 1.
Oleh karena itu, Lagrangian didefinisikan sebagai
$$ \widetilde{H}=-\sum_i p(x_i)\ln(p(x_i))+\lambda(\sum_i p(x_i)-1) $$
Mengambil turunan parsial pertama dan mengaturnya sama dengan nol memberi $p(x_i)=1/M$, dimana $M$ adalah jumlah nilai itu $x_i$ mengambil.
Untuk turunan parsial pertama yang saya dapatkan $$ \frac{\partial \widetilde{H}}{\partial p(x_i)}=-\sum_i [\ln(p(x_i))+1]+\lambda M$$
Penulis kemudian menyatakan bahwa untuk memverifikasi titik stasioner adalah maksimum kita mengevaluasi turunan parsial kedua yang memberikan;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)}=-I_{ij}\frac{1}{p_(x_i)}$$
dimana $I_{ij}$ adalah elemen dari matriks identitas.
Saya ingin tahu mengapa ini adalah turunan parsial kedua (bagaimana menurunkannya) dan mengapa itu berarti titik stasioner adalah maksimum.
Saya pikir penulis mungkin berbicara tentang hessian bukan turunan parsial kedua karena mereka memberikan matriks bukan fungsi.
Mengikuti garis penalaran ini jika saya mengambil turunan kedua yang saya dapatkan;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_i)}=-\sum_i \frac{1}{p(x_i)}$$
Jika saya mengambil turunan parsial kedua wrt $j$ untuk $i\ne j$ Saya mendapat;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)}=0 \quad \quad (i \ne j) $$
Karena itu;
$$\frac{\partial^2 \widetilde{H}}{\partial p(x_i) \partial p(x_j)} = -I_{ij} \sum_i \frac{1}{p(x_i)}$$
Tetapi penjumlahannya hilang dalam ekspresi yang diberikan untuk goni.
Jawaban
Anda harus ingat bahwa indeks dalam penjumlahan adalah "indeks dummy", ini hanya placeholder untuk $1,2,3,\cdots$. Oleh karena itu, tidaklah sama$i$yang muncul di turunan! Kami dapat memperjelas notasi kami dengan menulis indeks dengan huruf yang berbeda:
$$\tilde H=-\sum_k p(x_k)\ln p(x_k) +\lambda\left(\sum_k p(x_k)-1\right)$$
Sekarang, kami membedakan $p(x_i)$. Istilahnya$k\neq i$ lenyap karena mereka tidak bergantung $p(x_i)$, jadi kita hanya perlu membedakan istilah dengan $k=i$:
$$\frac{\partial\tilde H}{\partial p(x_i)}=-1-\ln p(x_i)+\lambda$$
Sekarang, jika kita bedakan $p(x_i)$ sekali lagi, kami mendapatkan:
$$\frac{\partial^2\tilde H}{\partial p(x_i)^2}=-\frac{1}{p(x_i)}$$
Di sisi lain, jika kita membedakan $p(x_j)$ dimana $j\neq i$:
$$\frac{\partial^2\tilde H}{\partial p(x_i)\partial p(x_j)}=0$$
Kami dapat mengungkapkan ini secara kompak sebagai:
$$\frac{\partial^2\tilde H}{\partial p(x_i)\partial p(x_j)}=-I_{ij}\frac{1}{p(x_i)}$$
Matriks dengan elemen-elemen yang diberikan oleh rumus ini, seperti yang Anda katakan, adalah matriks hessian dari fungsi ini. Karena ini adalah matriks diagonal dengan entri negatif saja, ini adalah matriks pasti negatif , yang menyiratkan bahwa fungsi ini mencapai maksimum global setiap kali gradiennya nol.