Communication numérique - Théorie de l'information
L'information est la source d'un système de communication, qu'il soit analogique ou numérique. Information theory est une approche mathématique de l'étude du codage de l'information ainsi que de la quantification, du stockage et de la communication de l'information.
Conditions de survenue des événements
Si nous considérons un événement, il y a trois conditions d'occurrence.
Si l'événement ne s'est pas produit, il y a une condition de uncertainty.
Si l'événement vient de se produire, il y a une condition de surprise.
Si l'événement s'est produit, il y a un certain temps, il y a une condition pour avoir information.
Ces trois événements se produisent à des moments différents. La différence de ces conditions nous permet d'acquérir des connaissances sur les probabilités d'occurrence d'événements.
Entropie
Lorsque nous observons les possibilités d'occurrence d'un événement, à quel point il serait surprenant ou incertain, cela signifie que nous essayons d'avoir une idée sur le contenu moyen de l'information de la source de l'événement.
Entropy peut être défini comme une mesure du contenu d'information moyen par symbole source. Claude Shannon, le «père de la théorie de l'information», en a fourni une formule comme -
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Où pi est la probabilité d'occurrence du numéro de caractère i à partir d'un flux donné de personnages et best la base de l'algorithme utilisé. Par conséquent, cela est également appelé commeShannon’s Entropy.
La quantité d'incertitude restante sur l'entrée de canal après avoir observé la sortie de canal est appelée Conditional Entropy. Il est noté $ H (x \ mid y) $
Information mutuelle
Considérons un canal dont la sortie est Y et l'entrée est X
Soit l'entropie pour l'incertitude antérieure X = H(x)
(Ceci est supposé avant l'application de l'entrée)
Pour connaître l'incertitude de la sortie, une fois l'entrée appliquée, considérons l'entropie conditionnelle, étant donné que Y = yk
$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$
Ceci est une variable aléatoire pour $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ avec des probabilités $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $ respectivement.
La valeur moyenne de $ H (X \ mid y = y_k) $ pour l'alphabet de sortie y est -
$ H \ left (X \ mid Y \ right) = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} H \ left (X \ mid y = y_k \ right) p \ left (y_k \ right) ) $
$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) p \ left (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j, y_k \ right) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
Maintenant, en considérant les deux conditions d'incertitude (avant et après l'application des entrées), nous arrivons à savoir que la différence, c'est-à-dire $ H (x) - H (x \ mid y) $ doit représenter l'incertitude sur l'entrée de canal qui est résolue en observant la sortie du canal.
Ceci est appelé comme le Mutual Information de la chaîne.
En désignant les informations mutuelles comme $ I (x; y) $, nous pouvons écrire le tout dans une équation, comme suit
$$ I (x; y) = H (x) - H (x \ mid y) $$
Il s'agit donc de la représentation équationnelle de l'information mutuelle.
Propriétés des informations mutuelles
Ce sont les propriétés de l'information mutuelle.
Les informations mutuelles d'un canal sont symétriques.
$$ I (x; y) = I (y; x) $$
Les informations mutuelles ne sont pas négatives.
$$ I (x; y) \ geq 0 $$
Les informations mutuelles peuvent être exprimées en termes d'entropie de la sortie du canal.
$$ I (x; y) = H (y) - H (y \ milieu x) $$
Où $ H (y \ mid x) $ est une entropie conditionnelle
Les informations mutuelles d'un canal sont liées à l'entropie conjointe de l'entrée de canal et de la sortie de canal.
$$ I (x; y) = H (x) + H (y) - H (x, y) $$
Où l'entropie conjointe $ H (x, y) $ est définie par
$$ H (x, y) = \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$
Capacité de canal
Nous avons jusqu'ici discuté de l'information mutuelle. L'information mutuelle moyenne maximale, à un instant d'un intervalle de signalisation, lorsqu'elle est transmise par un canal discret sans mémoire, les probabilités du taux de transmission fiable maximale des données, peuvent être comprises commechannel capacity.
Il est désigné par C et est mesurée en bits per channel utilisation.
Source discrète sans mémoire
Une source à partir de laquelle les données sont émises à intervalles successifs, qui est indépendante des valeurs précédentes, peut être appelée discrete memoryless source.
Cette source est discrète car elle n'est pas considérée pour un intervalle de temps continu, mais à des intervalles de temps discrets. Cette source est sans mémoire car elle est fraîche à chaque instant, sans tenir compte des valeurs précédentes.