Đạo hàm của entropy Renyi

Question

Để cho $\log$ biểu thị lôgarit với cơ số $2$. Nó được tuyên bố rằng cho$0\leq p_i\leq 1$, $\sum_i p_i = 1$ và cho bất kỳ $0\leq \alpha \leq \infty, \alpha\neq 1$

$$\frac{d}{d\alpha}\left(\frac{1}{1-\alpha}\log\sum_i p_i^\alpha\right) = \frac{1}{(1-\alpha)^2}\sum_i\frac{p_i^\alpha}{\sum_jp_j^\alpha}\log\frac{p_i^{\alpha-1}}{\sum_k p_k^\alpha}$$

Tôi không thể hiển thị kết quả này. Lấy đạo hàm đối với$\alpha$, sử dụng quy tắc sản phẩm và lưu ý rằng $\frac{d}{dx}a^x = \ln(a) a^x$, Tôi có

$$\frac{d}{d\alpha}\left(\frac{1}{1-\alpha}\log\sum_i p_i^\alpha\right) = \frac{1}{(1-\alpha)^2}\log\sum_i p_i^\alpha + \frac{1}{1-\alpha}\frac{1}{\sum_j p_j^\alpha}\sum_ip_i^\alpha \ln(p_i)$$

Làm thế nào để người ta tiến hành để có được kết quả mong muốn?

Answer 1

Đạo hàm của bạn không đúng, để tránh nhầm lẫn với $\log_2$ khi phân biệt tôi luôn biến đổi nó thành $\ln$ : \begin{align*} &\frac{d}{d\alpha}\left(\frac{1}{1-\alpha}\log\sum_i p_i^\alpha\right) \\ =& \log(e)\frac{d}{d\alpha}\left(\frac{1}{1-\alpha}\ln\sum_i p_i^\alpha\right)\\ =&\log(e)\left(\frac{1}{(1-\alpha)^2}\ln\sum_i p_i^\alpha + \frac{1}{1-\alpha}\frac{1}{\sum_j p_j^\alpha}\sum_ip_i^\alpha \ln(p_i)\right)\\ =&\frac{1}{(1-\alpha)^2}\log\sum_i p_i^\alpha + \frac{1}{1-\alpha}\frac{1}{\sum_j p_j^\alpha}\sum_ip_i^\alpha \log(p_i)\\ =& \frac{1}{(1-\alpha)^2}\left[ \frac{\sum_{i} p_i^\alpha}{\sum_{i} p_i^\alpha} \log\sum_{k} p_k^\alpha + \frac{1}{\sum_j p_j^\alpha}\sum_ip_i^\alpha (1-\alpha)\log(p_i) \right]\\ =&\frac{1}{(1-\alpha)^2\sum_{i} p_i^\alpha} \sum_{i} p_i^\alpha \left(\log\sum_{k} p_k^\alpha + (1-\alpha)\log(p_i)\right) \\ =&\frac{1}{(1-\alpha)^2\sum_{i} p_i^\alpha} \sum_{i} p_i^\alpha \log\left(p_i^{1-\alpha}\cdot \sum_{k} p_k^\alpha\right)\\ =&\frac{1}{(1-\alpha)^2\sum_{i} p_i^\alpha} \sum_{i} p_i^\alpha \left(\log\sum_{k} p_k^\alpha + (1-\alpha)\log(p_i)\right) \\ =&\frac{1}{(1-\alpha)^2} \sum_{i} \frac{p_i^\alpha}{\sum_{j} p_j^\alpha} \log\left(\frac{\sum_{k} p_k^\alpha}{p_i^{\alpha-1}}\right) \end{align*}

Tôi nghĩ rằng bạn đang thiếu một dấu trừ từ trang wikipedia, điều đó sẽ lật $\log$ và cung cấp cho bạn những gì bạn muốn.