Teoria informacji
Informacja jest źródłem systemu komunikacyjnego, niezależnie od tego, czy jest on analogowy, czy cyfrowy. Information theory to matematyczne podejście do badania kodowania informacji wraz z kwantyfikacją, przechowywaniem i przekazywaniem informacji.
Warunki występowania zdarzeń
Jeśli weźmiemy pod uwagę zdarzenie, istnieją trzy warunki jego wystąpienia.
Jeśli zdarzenie nie miało miejsca, istnieje warunek uncertainty.
Jeśli zdarzenie właśnie miało miejsce, istnieje warunek surprise.
Jeśli zdarzenie miało miejsce, jakiś czas wstecz, istnieje warunek posiadania jakiegoś information.
Dlatego te trzy występują w różnym czasie. Różnica w tych warunkach, pomaga nam mieć wiedzę na temat prawdopodobieństwa wystąpienia zdarzeń.
Entropia
Kiedy obserwujemy możliwość wystąpienia zdarzenia, czy byłoby to zdziwienie, czy niepewność, oznacza to, że staramy się zorientować się, jaka jest przeciętna treść informacji ze źródła zdarzenia.
Entropy można zdefiniować jako miarę średniej zawartości informacji na symbol źródłowy. Claude Shannon, „ojciec teorii informacji”, podał na to wzór
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Gdzie $ p_i $ to prawdopodobieństwo wystąpienia numeru znaku iz danego strumienia znaków, a b jest podstawą zastosowanego algorytmu. Stąd jest to również nazywane jakoShannon’s Entropy.
Wielkość niepewności pozostałej na wejściu kanału po obserwacji wyjścia kanału jest nazywana jako Conditional Entropy. Jest oznaczony przez $ H (x \ arrowvert y) $
Dyskretne źródło bez pamięci
Źródło, z którego dane są emitowane w kolejnych odstępach czasu, które jest niezależne od poprzednich wartości, można określić jako discrete memoryless source.
To źródło jest dyskretne, ponieważ nie jest brane pod uwagę w ciągłym przedziale czasu, ale w dyskretnych odstępach czasu. To źródło jest pozbawione pamięci, ponieważ jest świeże w każdej chwili, bez uwzględnienia poprzednich wartości.
Kodowanie źródłowe
Zgodnie z definicją „Biorąc pod uwagę dyskretne, pozbawione pamięci źródło entropii $ H (\ delta) $, średnia długość słowa kodowego $ \ bar {L} $ dla dowolnego kodowania źródłowego jest ograniczona jako $ \ bar {L} \ geq H (\ delta) $ ”.
Mówiąc prościej, słowo-kod (na przykład: kod Morse'a dla słowa QUEUE to -.- ..-. ..-.) Jest zawsze większe lub równe kodowi źródłowemu (na przykład QUEUE). Co oznacza, że symbole w słowie kodowym są większe lub równe alfabetom w kodzie źródłowym.
Kodowanie kanałów
Kodowanie kanałów w systemie komunikacyjnym wprowadza redundancję ze sterowaniem, tak aby poprawić niezawodność systemu. Kodowanie źródłowe zmniejsza redundancję, aby poprawić wydajność systemu.
Kodowanie kanałów składa się z dwóch części akcji.
Mapping przychodząca sekwencja danych do sekwencji wejściowej kanału.
Inverse mapping sekwencję wyjściową kanału w sekwencję danych wyjściowych.
Ostatecznym celem jest zminimalizowanie ogólnego efektu szumu w kanale.
Odwzorowanie jest wykonywane przez nadajnik za pomocą kodera, natomiast odwrotne odwzorowanie jest wykonywane w odbiorniku przez dekoder.