Komunikacja cyfrowa - teoria informacji
Informacja jest źródłem systemu komunikacyjnego, niezależnie od tego, czy jest on analogowy czy cyfrowy. Information theory to matematyczne podejście do badania kodowania informacji wraz z kwantyfikacją, przechowywaniem i przekazywaniem informacji.
Warunki występowania zdarzeń
Jeśli weźmiemy pod uwagę zdarzenie, istnieją trzy warunki jego wystąpienia.
Jeśli zdarzenie nie miało miejsca, istnieje warunek uncertainty.
Jeśli zdarzenie właśnie miało miejsce, istnieje warunek surprise.
Jeśli zdarzenie miało miejsce, jakiś czas wstecz, istnieje warunek, że je masz information.
Te trzy wydarzenia mają miejsce w różnym czasie. Różnica w tych warunkach pomaga nam zdobyć wiedzę o prawdopodobieństwie zajścia zdarzeń.
Entropia
Kiedy obserwujemy możliwości wystąpienia zdarzenia, jak bardzo byłoby to zaskakujące lub niepewne, to znaczy, że staramy się zorientować się, jaka jest przeciętna treść informacji ze źródła zdarzenia.
Entropy można zdefiniować jako miarę średniej zawartości informacji na symbol źródłowy. Claude Shannon, „ojciec teorii informacji”, podał na to wzór:
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Gdzie pi jest prawdopodobieństwem wystąpienia liczby znaków i z danego strumienia znaków i bjest podstawą użytego algorytmu. Stąd jest to również nazywane jakoShannon’s Entropy.
Wielkość niepewności pozostałej na wejściu kanału po obserwacji wyjścia kanału jest nazywana jako Conditional Entropy. Jest oznaczony przez $ H (x \ mid y) $
Wzajemne informacje
Rozważmy kanał, którego wyjście jest Y i wejście jest X
Niech entropia dla wcześniejszej niepewności będzie X = H(x)
(Zakłada się to przed zastosowaniem danych wejściowych)
Aby wiedzieć o niepewności wyniku, po zastosowaniu danych wejściowych, rozważmy warunkową entropię, biorąc pod uwagę, że Y = yk
$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$
To jest zmienna losowa dla $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ z prawdopodobieństwami $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $ odpowiednio.
Średnia wartość $ H (X \ mid y = y_k) $ dla alfabetu wyjściowego y jest -
$ H \ lewo (X \ mid Y \ prawej) = \ Displaystyle \ suma \ limit_ {k = 0} ^ {k - 1} H \ lewo (X \ mid y = y_k \ prawo) p \ lewo (y_k \ prawo ) $
$ = \ Displaystyle \ suma \ limit_ {k = 0} ^ {k - 1} \ Displaystyle \ suma \ limit_ {j = 0} ^ {j - 1} p \ lewo (x_j \ mid y_k \ prawo) p \ lewo (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
$ = \ Displaystyle \ suma \ limity_ {k = 0} ^ {k - 1} \ Displaystyle \ suma \ limity_ {j = 0} ^ {j - 1} p \ lewo (x_j, y_k \ prawej) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
Teraz, biorąc pod uwagę oba warunki niepewności (przed i po zastosowaniu danych wejściowych), dowiadujemy się, że różnica, tj. $ H (x) - H (x \ mid y) $, musi reprezentować niepewność dotyczącą wejścia kanału, który jest rozwiązany obserwując wyjście kanału.
Nazywa się to Mutual Information kanału.
Oznaczając informacje wzajemne jako $ I (x; y) $, możemy zapisać całość w równaniu, jak następuje
$$ I (x; y) = H (x) - H (x \ mid y) $$
Stąd jest to równanie reprezentacji wzajemnej informacji.
Właściwości wzajemnej informacji
To są właściwości wzajemnej informacji.
Wzajemna informacja w kanale jest symetryczna.
$$ I (x; y) = I (y; x) $$
Wzajemne informacje nie są negatywne.
$$ I (x; y) \ geq 0 $$
Wzajemne informacje można wyrazić w kategoriach entropii sygnału wyjściowego kanału.
$$ I (x; y) = H (y) - H (y \ mid x) $$
Gdzie $ H (y \ mid x) $ jest entropią warunkową
Wzajemna informacja o kanale jest związana ze wspólną entropią wejścia kanału i wyjścia kanału.
$$ I (x; y) = H (x) + H (y) - H (x, y) $$
Gdzie wspólna entropia $ H (x, y) $ jest zdefiniowana przez
$$ H (x, r) = \ Displaystyle \ suma \ limity_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limit_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$
Pojemność kanału
Do tej pory omawialiśmy wzajemne informacje. Maksymalną średnią wzajemną informację, w chwili interwału sygnalizacyjnego, przy transmisji przez dyskretny kanał bez pamięci, prawdopodobieństwa szybkości maksymalnej niezawodnej transmisji danych, można rozumieć jakochannel capacity.
Jest oznaczony C i jest mierzony w bits per channel posługiwać się.
Dyskretne źródło bez pamięci
Źródło, z którego dane są emitowane w kolejnych odstępach czasu, które jest niezależne od poprzednich wartości, można określić jako discrete memoryless source.
To źródło jest dyskretne, ponieważ nie jest brane pod uwagę w ciągłym przedziale czasu, ale w dyskretnych odstępach czasu. To źródło jest pozbawione pamięci, ponieważ jest świeże w każdej chwili, bez uwzględnienia poprzednich wartości.