デジタル通信-情報理論

情報は、アナログであろうとデジタルであろうと、通信システムのソースです。 Information theory は、情報の定量化、保存、および通信とともに、情報のコーディングを研究するための数学的アプローチです。

イベントの発生条件

イベントを考えると、3つの発生条件があります。

  • イベントが発生していない場合は、次の条件があります。 uncertainty

  • イベントが発生したばかりの場合、次の条件があります surprise

  • イベントが発生した場合、過去に、いくつかの条件があります information

これらの3つのイベントは異なる時間に発生します。これらの条件の違いは、イベントの発生確率に関する知識を得るのに役立ちます。

エントロピ

イベントの発生の可能性、それがどれほど驚くべきか不確実であるかを観察するとき、それは私たちがイベントのソースからの情報の平均的な内容について考えを持っていることを意味します。

Entropy ソースシンボルごとの平均情報量の尺度として定義できます。 Claude Shannon、「情報理論の父」は、その公式を次のように提供しました。

$$ H =-\ sum_ {i} p_i \ log_ {b} p_i $$

どこ pi 文字番号の出現確率です i 与えられた文字の流れから b使用されるアルゴリズムのベースです。したがって、これは次のようにも呼ばれますShannon’s Entropy

チャネル出力を観察した後、チャネル入力について残っている不確かさの量は、次のように呼ばれます。 Conditional Entropy。$ H(x \ mid y)$で表されます

相互情報量

出力がであるチャネルを考えてみましょう Y 入力は X

以前の不確実性のエントロピーを X = H(x)

(これは、入力が適用される前に想定されます)

出力の不確実性について知るために、入力が適用された後、条件付きエントロピーを考えてみましょう。 Y = yk

$$ H \ left(x \ mid y_k \ right)= \ sum_ {j = 0} ^ {j-1} p \ left(x_j \ mid y_k \ right)\ log_ {2} \ left [\ frac {1 } {p(x_j \ mid y_k)} \ right] $$

これは$ H(X \ mid y = y_0)の確率変数です\:... \:... \:... \:... \:... \:H(X \ mid y = y_k)$確率$ p(y_0)\:... \:... \:... \:... \:p(y_ {k-1)} $それぞれ。

出力アルファベットの$ H(X \ mid y = y_k)$の平均値 y は−

$ H \ left(X \ mid Y \ right)= \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} H \ left(X \ mid y = y_k \ right)p \ left(y_k \ right )$

$ = \ displaystyle \ sum \ Limits_ {k = 0} ^ {k-1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} p \ left(x_j \ mid y_k \ right)p \ left (y_k \ right)\ log_ {2} \ left [\ frac {1} {p \ left(x_j \ mid y_k \ right)} \ right] $

$ = \ displaystyle \ sum \ Limits_ {k = 0} ^ {k-1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} p \ left(x_j、y_k \ right)\ log_ {2 } \ left [\ frac {1} {p \ left(x_j \ mid y_k \ right)} \ right] $

ここで、(入力を適用する前と後の)両方の不確実性条件を考慮すると、差、つまり$ H(x)-H(x \ mid y)$は、解決されるチャネル入力に関する不確実性を表す必要があることがわかります。チャネル出力を観察することによって。

これは、 Mutual Information チャネルの。

相互情報量を$ I(x; y)$と表すと、次のようにすべてを方程式で書くことができます。

$$ I(x; y)= H(x)-H(x \ mid y)$$

したがって、これは相互情報量の等式表現です。

相互情報量のプロパティ

これらは相互情報量の特性です。

  • チャネルの相互情報量は対称的です。

    $$ I(x; y)= I(y; x)$$

  • 相互情報量は非負です。

    $$ I(x; y)\ geq 0 $$

  • 相互情報量は、チャネル出力のエントロピーで表すことができます。

    $$ I(x; y)= H(y)-H(y \ mid x)$$

    ここで、$ H(y \ mid x)$は条件付きエントロピーです

  • チャネルの相互情報量は、チャネル入力とチャネル出力の結合エントロピーに関連しています。

    $$ I(x; y)= H(x)+ H(y)-H(x、y)$$

    ここで、結合エントロピー$ H(x、y)$は次のように定義されます。

    $$ H(x、y)= \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p(x_j、y_k)\ log_ {2} \ left(\ frac {1} {p \ left(x_i、y_k \ right)} \ right)$$

チャネル容量

これまで、相互情報量について説明してきました。個別のメモリレスチャネルによって送信されたときのシグナリング間隔の瞬間における最大平均相互情報量は、データの最大の信頼できる送信速度の確率として理解することができます。channel capacity

それはによって示されます C で測定されます bits per channel 使用する。

ディスクリートメモリレスソース

以前の値とは無関係に、データが連続した間隔で放出されているソースは、次のように呼ぶことができます。 discrete memoryless source

このソースは、連続した時間間隔ではなく、離散的な時間間隔で考慮されるため、離散的です。このソースは、以前の値を考慮せずに、各時点で新鮮であるため、メモリがありません。