상호 정보의 폐쇄 형 분석 솔루션 도출

Question

$$I(X;Y) = -\frac{1}{2} \ln(1-\rho^2)$$는 IS 상호 정보 개의 가우시안 랜덤 변수 사이는. 이 공식에서 파생 된 출처는 무엇입니까? 우리는 여기에서 완전한 유도를 해답으로 가질 수 있습니까?

첫번째 시도

주어진 $f(x)$ 변수의 가우스 pdf입니다. $X$ 과 $f(y)$ 변수의 가우스 pdf입니다. $Y$, 및 \begin{align} f(x,y)&=\frac{1}{\left( (2\pi)^{n}\det{(\boldsymbol \Sigma)}\right)^\frac{1}{2} }\exp\left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})% \right)\\ & = \frac{1}{2 \pi \sigma_X \sigma_Y \sqrt{1-\rho^2}} \exp \left\{ -\frac{1}{2\left(1-\rho^2\right)} \left[ \left(\frac{x-\mu_{X}}{\sigma_{X}}\right)^2 + \left(\frac{y-\mu_{Y}}{\sigma_{Y}}\right)^2 -2\rho \left(\frac{x-\mu_{X}}{\sigma_{X}}\right) \left(\frac{y-\mu_{X}}{\sigma_{Y}}\right) \right] \right\} \end{align} 공동 분포입니다. $\boldsymbol{x}, \boldsymbol{\mu}$ 과 $\boldsymbol{\Sigma}$ 결합 분포의 데이터 관측치, 평균 및 공분산 행렬입니다.

\begin{align} I(X;Y) &= \int \int f(x,y) \ln \frac{f(x,y)}{f(x)f(y)} dx dy\\ &= \int \int f(x,y) \ln \frac{f(x,y)}{\left(2\pi \sigma_X^2\right)^{-\frac{1}{2}} e^{-(x-\mu_X)^2 / 2\sigma_X^2} \cdot \left(2\pi \sigma_Y^2\right)^{-\frac{1}{2}} e^{-(y-\mu_Y)^2 / 2\sigma_Y^2}} dx dy\\ &= ? \end{align}

Answer 1

허락하다 $(X, Y) \sim \mathcal{N}(0, K),$ 어디 $$ K=\left[\begin{array}{cc} \sigma^{2} & \rho \sigma^{2} \\ \rho \sigma^{2} & \sigma^{2} \end{array}\right] $$ 그때 $$h(X)=h(Y)=\frac{1}{2} \log (2 \pi e) \sigma^{2}$$ 과 $$h(X, Y)=\frac{1}{2} \log (2 \pi e)^{2}|K|= \frac{1}{2} \log (2 \pi e)^{2} \sigma^{4}\left(1-\rho^{2}\right),$$ 따라서 $$ I(X ; Y)=h(X)+h(Y)-h(X, Y)=-\frac{1}{2} \log \left(1-\rho^{2}\right) $$ 만약 $\rho=0, X$ 과 $Y$독립적이고 상호 정보는 0입니다. 만약$\rho=\pm 1, X$ 과 $Y$ 완벽하게 상관되고 상호 정보는 무한합니다.