Digitale Kommunikation - Informationstheorie
Informationen sind die Quelle eines Kommunikationssystems, ob analog oder digital. Information theory ist ein mathematischer Ansatz zur Untersuchung der Kodierung von Informationen zusammen mit der Quantifizierung, Speicherung und Kommunikation von Informationen.
Bedingungen für das Eintreten von Ereignissen
Wenn wir ein Ereignis betrachten, gibt es drei Eintrittsbedingungen.
Wenn das Ereignis nicht aufgetreten ist, liegt eine Bedingung von vor uncertainty.
Wenn das Ereignis gerade eingetreten ist, liegt eine Bedingung von vor surprise.
Wenn das Ereignis vor einiger Zeit eingetreten ist, besteht die Bedingung, dass einige vorliegen information.
Diese drei Ereignisse treten zu unterschiedlichen Zeiten auf. Der Unterschied in diesen Bedingungen hilft uns, Kenntnisse über die Wahrscheinlichkeiten des Auftretens von Ereignissen zu erlangen.
Entropie
Wenn wir die Möglichkeiten des Auftretens eines Ereignisses beobachten, wie überraschend oder unsicher es wäre, bedeutet dies, dass wir versuchen, eine Vorstellung vom durchschnittlichen Inhalt der Informationen aus der Quelle des Ereignisses zu bekommen.
Entropy kann als Maß für den durchschnittlichen Informationsgehalt pro Quellensymbol definiert werden. Claude Shannon, der "Vater der Informationstheorie", lieferte eine Formel dafür als -
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Wo pi ist die Wahrscheinlichkeit des Auftretens einer Zeichennummer i aus einem bestimmten Strom von Zeichen und bist die Basis des verwendeten Algorithmus. Daher wird dies auch als bezeichnetShannon’s Entropy.
Die Unsicherheit, die nach Beobachtung des Kanalausgangs über den Kanaleingang verbleibt, wird als bezeichnet Conditional Entropy. Es wird mit $ H (x \ mid y) $ bezeichnet
Gegenseitige Information
Betrachten wir einen Kanal, dessen Ausgang ist Y und Eingabe ist X
Die Entropie für vorherige Unsicherheit sei X = H(x)
(Dies wird angenommen, bevor die Eingabe angewendet wird.)
Um die Unsicherheit der Ausgabe zu kennen, betrachten wir nach dem Anwenden der Eingabe die bedingte Entropie Y = yk
$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$
Dies ist eine Zufallsvariable für $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ mit Wahrscheinlichkeiten $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $.
Der Mittelwert von $ H (X \ mid y = y_k) $ für das Ausgabealphabet y ist -
$ H \ left (X \ mid Y \ right) = \ displaystyle \ sum \ limit_ {k = 0} ^ {k - 1} H \ left (X \ mid y = y_k \ right) p \ left (y_k \ right) ) $
$ = \ Anzeigestil \ Summe \ Grenzen_ {k = 0} ^ {k - 1} \ Anzeigestil \ Summe \ Grenzen_ {j = 0} ^ {j - 1} p \ links (x_j \ Mitte y_k \ rechts) p \ links (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
$ = \ Anzeigestil \ Summe \ Grenzen_ {k = 0} ^ {k - 1} \ Anzeigestil \ Summe \ Grenzen_ {j = 0} ^ {j - 1} p \ links (x_j, y_k \ rechts) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
Unter Berücksichtigung der beiden Unsicherheitsbedingungen (vor und nach dem Anwenden der Eingänge) stellen wir nun fest, dass die Differenz, dh $ H (x) - H (x \ mid y) $, die Unsicherheit über den aufgelösten Kanaleingang darstellen muss durch Beobachtung des Kanalausgangs.
Dies wird als das bezeichnet Mutual Information des Kanals.
Wenn wir die gegenseitige Information als $ I (x; y) $ bezeichnen, können wir das Ganze wie folgt in eine Gleichung schreiben
$$ I (x; y) = H (x) - H (x \ mid y) $$
Daher ist dies die gleichwertige Darstellung der gegenseitigen Information.
Eigenschaften der gegenseitigen Information
Dies sind die Eigenschaften der gegenseitigen Information.
Die gegenseitige Information eines Kanals ist symmetrisch.
$$ I (x; y) = I (y; x) $$
Gegenseitige Informationen sind nicht negativ.
$$ I (x; y) \ geq 0 $$
Gegenseitige Informationen können als Entropie des Kanalausgangs ausgedrückt werden.
$$ I (x; y) = H (y) - H (y \ mid x) $$
Wobei $ H (y \ mid x) $ eine bedingte Entropie ist
Die gegenseitige Information eines Kanals hängt mit der gemeinsamen Entropie des Kanaleingangs und des Kanalausgangs zusammen.
$$ I (x; y) = H (x) + H (y) - H (x, y) $$
Wobei die gemeinsame Entropie $ H (x, y) $ definiert ist durch
$$ H (x, y) = \ Anzeigestil \ Summe \ Grenzen_ {j = 0} ^ {j-1} \ Anzeigestil \ Summe \ Grenzen_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$
Kanalkapazität
Wir haben bisher gegenseitige Informationen besprochen. Die maximale durchschnittliche gegenseitige Information in einem Moment eines Signalisierungsintervalls, wenn sie von einem diskreten speicherlosen Kanal übertragen wird, die Wahrscheinlichkeiten der Rate der maximal zuverlässigen Datenübertragung, kann als die verstanden werdenchannel capacity.
Es wird mit bezeichnet C und wird gemessen in bits per channel verwenden.
Diskrete speicherlose Quelle
Eine Quelle, von der die Daten in aufeinanderfolgenden Intervallen ausgegeben werden, unabhängig von vorherigen Werten, kann als bezeichnet werden discrete memoryless source.
Diese Quelle ist diskret, da sie nicht für ein kontinuierliches Zeitintervall, sondern in diskreten Zeitintervallen berücksichtigt wird. Diese Quelle ist speicherlos, da sie zu jedem Zeitpunkt frisch ist, ohne die vorherigen Werte zu berücksichtigen.