디지털 커뮤니케이션-정보 이론

정보는 아날로그이든 디지털이든 통신 시스템의 소스입니다. Information theory 정보의 정량화, 저장 및 통신과 함께 정보 코딩 연구에 대한 수학적 접근 방식입니다.

이벤트 발생 조건

이벤트를 고려하면 세 가지 발생 조건이 있습니다.

이벤트가 발생하지 않은 경우 다음과 같은 조건이 있습니다. uncertainty.
이벤트가 방금 발생한 경우 다음과 같은 조건이 있습니다. surprise.
이벤트가 발생하면 시간이 지난 경우 일부가 발생하는 조건이 있습니다. information.

이 세 가지 이벤트는 서로 다른 시간에 발생합니다. 이러한 조건의 차이는 사건 발생 확률에 대한 지식을 얻는 데 도움이됩니다.

엔트로피

사건의 발생 가능성, 그것이 얼마나 놀랍거나 불확실한지를 관찰 할 때, 그것은 우리가 사건의 출처로부터 정보의 평균 내용에 대한 아이디어를 가지고 있다는 것을 의미합니다.

Entropy 소스 심볼 당 평균 정보 콘텐츠의 척도로 정의 할 수 있습니다. Claude Shannon, "정보 이론의 아버지"는 다음과 같은 공식을 제공했습니다.

$$ H =-\ sum_ {i} p_i \ log_ {b} p_i $$

어디 p_i 문자 번호 발생 확률 i 주어진 문자 스트림에서 b사용 된 알고리즘의 기본입니다. 따라서 이것은 또한Shannon’s Entropy.

채널 출력을 관찰 한 후 채널 입력에 대해 남아있는 불확실성의 양을 다음과 같이 호출합니다. Conditional Entropy. $ H (x \ mid y) $로 표시됩니다.

상호 정보

출력이 다음과 같은 채널을 고려해 보겠습니다. Y 입력은 X

사전 불확실성에 대한 엔트로피를 X = H(x)

(입력이 적용되기 전에 가정합니다.)

출력의 불확실성을 알기 위해 입력이 적용된 후 조건부 엔트로피를 고려해 보겠습니다. Y = y_k

$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j-1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ 중순 y_k)} \ 오른쪽] $$

이것은 $ H (X \ mid y = y_0) \ : ... \ : ... \ : ... \ : ... \ : ... \ : H (X \ mid y = 확률이 $ p (y_0) \ : ... \ : ... \ : ... \ : ... \ : p (y_ {k-1)} $ 인 y_k) $입니다.

출력 알파벳에 대한 $ H (X \ mid y = y_k) $의 평균값 y -

$ H \ left (X \ mid Y \ right) = \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} H \ left (X \ mid y = y_k \ right) p \ left (y_k \ right ) $

$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} p \ left (x_j \ mid y_k \ right) p \ left (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $

$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} p \ left (x_j, y_k \ right) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $

이제 두 불확실성 조건 (입력 적용 전후)을 고려할 때 차이, 즉 $ H (x)-H (x \ mid y) $가 해결 된 채널 입력에 대한 불확실성을 나타내야한다는 것을 알게되었습니다. 채널 출력을 관찰하여.

이것은 Mutual Information 채널의.

상호 정보를 $ I (x; y) $로 표시하면 다음과 같이 전체를 방정식에 쓸 수 있습니다.

$$ I (x; y) = H (x)-H (x \ 중간 y) $$

따라서 이것은 상호 정보의 방정식 표현입니다.

상호 정보의 속성

이것이 상호 정보의 속성입니다.

채널의 상호 정보는 대칭입니다.

$$ I (x; y) = 나 (y; x) $$
상호 정보는 부정적이지 않습니다.

$$ I (x; y) \ geq 0 $$
상호 정보는 채널 출력의 엔트로피로 표현할 수 있습니다.

$$ I (x; y) = H (y)-H (y \ 중간 x) $$

$ H (y \ mid x) $는 조건부 엔트로피입니다.
채널의 상호 정보는 채널 입력과 채널 출력의 결합 엔트로피와 관련이 있습니다.

$$ I (x; y) = H (x) + H (y)-H (x, y) $$

결합 엔트로피 $ H (x, y) $는 다음과 같이 정의됩니다.

$$ H (x, y) = \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$