情報理論

情報は、アナログであろうとデジタルであろうと、通信システムのソースです。 Information theory は、情報の定量化、保存、および通信とともに、情報のコーディングを研究するための数学的アプローチです。

イベントを考えると、3つの発生条件があります。

したがって、これら3つは異なる時間に発生します。これらの条件の違いは、イベントの発生確率に関する知識を得るのに役立ちます。

エントロピ

イベントが発生する可能性を観察するとき、それがどれほど驚きであるか不確実であるかにかかわらず、それはイベントのソースからの情報の平均的な内容について考えようとしていることを意味します。

Entropy ソースシンボルごとの平均情報量の尺度として定義できます。 Claude Shannon、「情報理論の父」は、次のようにその公式を与えました

$$ H =-\ sum_ {i} p_i \ log_ {b} p_i $$

ここで、$ p_i $は文字番号の出現確率です。 i与えられた文字のストリームから、bは使用されるアルゴリズムのベースです。したがって、これは次のようにも呼ばれますShannon’s Entropy。

チャネル出力を観察した後、チャネル入力について残っている不確かさの量は、次のように呼ばれます。 Conditional Entropy。$ H（x \ arrowvert y）$で表されます

以前の値とは無関係に、データが連続した間隔で放出されているソースは、次のように呼ぶことができます。 discrete memoryless source。

このソースは、連続した時間間隔ではなく、離散的な時間間隔で考慮されるため、離散的です。このソースは、以前の値を考慮せずに、各時点で新鮮であるため、メモリがありません。

定義によれば、「エントロピーの離散メモリレスソース$ H（\ delta）$が与えられた場合、任意のソースエンコーディングの平均コードワード長$ \ bar {L} $は$ \ bar {L} \ geqHとして制限されます。（\ delta）$」。

簡単に言うと、コードワード（例：QUEUEという単語のモールス信号は-.- ..- ..-。）は、常にソースコード（例ではQUEUE）以上です。つまり、コードワードの記号は、ソースコードのアルファベット以上です。

通信システムのチャネルコーディングは、システムの信頼性を向上させるために、制御による冗長性を導入します。ソースコーディングは冗長性を減らしてシステムの効率を改善します。

チャネルコーディングは、アクションの2つの部分で構成されます。

最終的な目標は、チャネルノイズの全体的な影響を最小限に抑えることです。

マッピングはエンコーダーの助けを借りて送信機によって行われますが、逆マッピングはデコーダーによって受信機で行われます。