Rozwiązanie analityczne Joint Entropy w formie zamkniętej

Question

Entropia różniczkowa pojedynczej zmiennej losowej Gaussa wynosi

$$H(X) = \frac{1}{2} \ln (2\pi e \sigma^2)$$

Czym więc jest analityczne rozwiązanie w postaci zamkniętej dla wspólnej entropii ,$H(X,Y)$?

Answer 1

Pozwolić $(X, Y) \sim \mathcal{N}(0, K),$ gdzie $$ K=\left[\begin{array}{cc} \sigma^{2} & \rho \sigma^{2} \\ \rho \sigma^{2} & \sigma^{2} \end{array}\right] $$ Wtedy jest entropia różnicowa$$h(X)=h(Y)=\frac{1}{2} \log (2 \pi e) \sigma^{2}$$a wspólna entropia jest

\ begin {align} h (X, Y) & = \ frac {1} {2} \ log (2 \ pi e) ^ {2} | K | \\ & = \ frac {1} {2} \ log (2 \ pi e) ^ {2} \ sigma ^ {4} \ left (1- \ rho ^ {2} \ right) \ end {align}