Informationstheorie
Informationen sind die Quelle eines Kommunikationssystems, ob analog oder digital. Information theory ist ein mathematischer Ansatz zur Untersuchung der Kodierung von Informationen zusammen mit der Quantifizierung, Speicherung und Kommunikation von Informationen.
Bedingungen für das Eintreten von Ereignissen
Wenn wir ein Ereignis betrachten, gibt es drei Eintrittsbedingungen.
Wenn das Ereignis nicht aufgetreten ist, liegt eine Bedingung von vor uncertainty.
Wenn das Ereignis gerade eingetreten ist, liegt eine Bedingung von vor surprise.
Wenn das Ereignis vor einiger Zeit eingetreten ist, besteht die Bedingung, dass einige vorliegen information.
Daher treten diese drei zu unterschiedlichen Zeiten auf. Der Unterschied in diesen Bedingungen hilft uns, die Wahrscheinlichkeiten des Auftretens von Ereignissen zu kennen.
Entropie
Wenn wir die Möglichkeiten des Auftretens eines Ereignisses beobachten, ob es nun überraschend oder unsicher wäre, bedeutet dies, dass wir versuchen, eine Vorstellung vom durchschnittlichen Inhalt der Informationen aus der Quelle des Ereignisses zu bekommen.
Entropy kann als Maß für den durchschnittlichen Informationsgehalt pro Quellensymbol definiert werden. Claude Shannon, der "Vater der Informationstheorie", hat eine Formel dafür gegeben als
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Wobei $ p_i $ die Wahrscheinlichkeit des Auftretens einer Zeichennummer ist iaus einem gegebenen Strom von Zeichen und b ist die Basis des verwendeten Algorithmus. Daher wird dies auch als bezeichnetShannon’s Entropy.
Die Unsicherheit, die nach Beobachtung des Kanalausgangs über den Kanaleingang verbleibt, wird als bezeichnet Conditional Entropy. Es wird mit $ H (x \ arrowvert y) $ bezeichnet
Diskrete speicherlose Quelle
Eine Quelle, von der die Daten in aufeinanderfolgenden Intervallen ausgegeben werden, unabhängig von vorherigen Werten, kann als bezeichnet werden discrete memoryless source.
Diese Quelle ist diskret, da sie nicht für ein kontinuierliches Zeitintervall, sondern in diskreten Zeitintervallen berücksichtigt wird. Diese Quelle ist speicherlos, da sie zu jedem Zeitpunkt frisch ist, ohne die vorherigen Werte zu berücksichtigen.
Quellcodierung
Gemäß der Definition ist „bei einer diskreten speicherlosen Entropiequelle $ H (\ delta) $ die durchschnittliche Codewortlänge $ \ bar {L} $ für jede Quellcodierung als $ \ bar {L} \ geq H begrenzt (\ delta) $ ”.
In einfacheren Worten ist das Codewort (zum Beispiel: Morsecode für das Wort QUEUE ist -.- ..- ..-.) Immer größer oder gleich dem Quellcode (QUEUE im Beispiel). Das heißt, die Symbole im Codewort sind größer oder gleich den Alphabeten im Quellcode.
Kanalcodierung
Die Kanalcodierung in einem Kommunikationssystem führt Redundanz mit einer Steuerung ein, um die Zuverlässigkeit des Systems zu verbessern. Die Quellcodierung reduziert die Redundanz, um die Effizienz des Systems zu verbessern.
Die Kanalcodierung besteht aus zwei Aktionsteilen.
Mapping eingehende Datensequenz in eine Kanaleingangssequenz.
Inverse mapping die Kanalausgangssequenz in eine Ausgangsdatensequenz.
Das endgültige Ziel ist, dass der Gesamteffekt des Kanalrauschens minimiert wird.
Die Zuordnung erfolgt durch den Sender mit Hilfe eines Codierers, während die inverse Zuordnung am Empfänger durch einen Decodierer erfolgt.