デジタル通信-情報理論

情報は、アナログであろうとデジタルであろうと、通信システムのソースです。 Information theory は、情報の定量化、保存、および通信とともに、情報のコーディングを研究するための数学的アプローチです。

イベントの発生条件

イベントを考えると、3つの発生条件があります。

イベントが発生していない場合は、次の条件があります。 uncertainty。
イベントが発生したばかりの場合、次の条件があります surprise。
イベントが発生した場合、過去に、いくつかの条件があります information。

これらの3つのイベントは異なる時間に発生します。これらの条件の違いは、イベントの発生確率に関する知識を得るのに役立ちます。

エントロピ

イベントの発生の可能性、それがどれほど驚くべきか不確実であるかを観察するとき、それは私たちがイベントのソースからの情報の平均的な内容について考えを持っていることを意味します。

Entropy ソースシンボルごとの平均情報量の尺度として定義できます。 Claude Shannon、「情報理論の父」は、その公式を次のように提供しました。

$$ H =-\ sum_ {i} p_i \ log_ {b} p_i $$

どこ p_i 文字番号の出現確率です i 与えられた文字の流れから b使用されるアルゴリズムのベースです。したがって、これは次のようにも呼ばれますShannon’s Entropy。

チャネル出力を観察した後、チャネル入力について残っている不確かさの量は、次のように呼ばれます。 Conditional Entropy。$ H（x \ mid y）$で表されます

相互情報量

出力がであるチャネルを考えてみましょう Y 入力は X

以前の不確実性のエントロピーを X = H(x)

（これは、入力が適用される前に想定されます）

出力の不確実性について知るために、入力が適用された後、条件付きエントロピーを考えてみましょう。 Y = y_k

$$ H \ left（x \ mid y_k \ right）= \ sum_ {j = 0} ^ {j-1} p \ left（x_j \ mid y_k \ right）\ log_ {2} \ left [\ frac {1 } {p（x_j \ mid y_k）} \ right] $$

これは$ H（X \ mid y = y_0）の確率変数です\：... \：... \：... \：... \：... \：H（X \ mid y = y_k）$確率$ p（y_0）\：... \：... \：... \：... \：p（y_ {k-1）} $それぞれ。

出力アルファベットの$ H（X \ mid y = y_k）$の平均値 y は−

$ H \ left（X \ mid Y \ right）= \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} H \ left（X \ mid y = y_k \ right）p \ left（y_k \ right ）$

$ = \ displaystyle \ sum \ Limits_ {k = 0} ^ {k-1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} p \ left（x_j \ mid y_k \ right）p \ left （y_k \ right）\ log_ {2} \ left [\ frac {1} {p \ left（x_j \ mid y_k \ right）} \ right] $

$ = \ displaystyle \ sum \ Limits_ {k = 0} ^ {k-1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} p \ left（x_j、y_k \ right）\ log_ {2 } \ left [\ frac {1} {p \ left（x_j \ mid y_k \ right）} \ right] $

ここで、（入力を適用する前と後の）両方の不確実性条件を考慮すると、差、つまり$ H（x）-H（x \ mid y）$は、解決されるチャネル入力に関する不確実性を表す必要があることがわかります。チャネル出力を観察することによって。

これは、 Mutual Information チャネルの。

相互情報量を$ I（x; y）$と表すと、次のようにすべてを方程式で書くことができます。

$$ I（x; y）= H（x）-H（x \ mid y）$$

したがって、これは相互情報量の等式表現です。

相互情報量のプロパティ

これらは相互情報量の特性です。

チャネルの相互情報量は対称的です。

$$ I（x; y）= I（y; x）$$
相互情報量は非負です。

$$ I（x; y）\ geq 0 $$
相互情報量は、チャネル出力のエントロピーで表すことができます。

$$ I（x; y）= H（y）-H（y \ mid x）$$

ここで、$ H（y \ mid x）$は条件付きエントロピーです
チャネルの相互情報量は、チャネル入力とチャネル出力の結合エントロピーに関連しています。

$$ I（x; y）= H（x）+ H（y）-H（x、y）$$

ここで、結合エントロピー$ H（x、y）$は次のように定義されます。

$$ H（x、y）= \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p（x_j、y_k）\ log_ {2} \ left（\ frac {1} {p \ left（x_i、y_k \ right）} \ right）$$