Wyprowadzenie rozwiązania analitycznego w postaci zamkniętej wzajemnej informacji

Question

$$I(X;Y) = -\frac{1}{2} \ln(1-\rho^2)$$jest wzajemną informacją między dwiema zmiennymi losowymi Gaussa. Z jakiego źródła pochodzi ta formuła? Czy moglibyśmy otrzymać pełne wyprowadzenie tutaj jako odpowiedź.

Pierwsze podejscie

Dany $f(x)$ jest gaussowskim plikiem pdf zmiennej $X$ i $f(y)$ jest gaussowskim plikiem pdf zmiennej $Y$, i \begin{align} f(x,y)&=\frac{1}{\left( (2\pi)^{n}\det{(\boldsymbol \Sigma)}\right)^\frac{1}{2} }\exp\left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})% \right)\\ & = \frac{1}{2 \pi \sigma_X \sigma_Y \sqrt{1-\rho^2}} \exp \left\{ -\frac{1}{2\left(1-\rho^2\right)} \left[ \left(\frac{x-\mu_{X}}{\sigma_{X}}\right)^2 + \left(\frac{y-\mu_{Y}}{\sigma_{Y}}\right)^2 -2\rho \left(\frac{x-\mu_{X}}{\sigma_{X}}\right) \left(\frac{y-\mu_{X}}{\sigma_{Y}}\right) \right] \right\} \end{align} jest wspólnym rozkładem, gdzie $\boldsymbol{x}, \boldsymbol{\mu}$ i $\boldsymbol{\Sigma}$ to obserwacje danych, średnie i macierz kowariancji wspólnego rozkładu,

\begin{align} I(X;Y) &= \int \int f(x,y) \ln \frac{f(x,y)}{f(x)f(y)} dx dy\\ &= \int \int f(x,y) \ln \frac{f(x,y)}{\left(2\pi \sigma_X^2\right)^{-\frac{1}{2}} e^{-(x-\mu_X)^2 / 2\sigma_X^2} \cdot \left(2\pi \sigma_Y^2\right)^{-\frac{1}{2}} e^{-(y-\mu_Y)^2 / 2\sigma_Y^2}} dx dy\\ &= ? \end{align}

Answer 1

Pozwolić $(X, Y) \sim \mathcal{N}(0, K),$ gdzie $$ K=\left[\begin{array}{cc} \sigma^{2} & \rho \sigma^{2} \\ \rho \sigma^{2} & \sigma^{2} \end{array}\right] $$ Następnie $$h(X)=h(Y)=\frac{1}{2} \log (2 \pi e) \sigma^{2}$$ i $$h(X, Y)=\frac{1}{2} \log (2 \pi e)^{2}|K|= \frac{1}{2} \log (2 \pi e)^{2} \sigma^{4}\left(1-\rho^{2}\right),$$ i dlatego $$ I(X ; Y)=h(X)+h(Y)-h(X, Y)=-\frac{1}{2} \log \left(1-\rho^{2}\right) $$ Gdyby $\rho=0, X$ i $Y$są niezależne, a wzajemna informacja wynosi 0. Gdyby$\rho=\pm 1, X$ i $Y$ są doskonale skorelowane, a wzajemne informacje są nieskończone.