Теория информации
Информация является источником системы связи, будь то аналоговая или цифровая. Information theory представляет собой математический подход к изучению кодирования информации наряду с количественной оценкой, хранением и передачей информации.
Условия возникновения событий
Если мы рассматриваем событие, есть три условия его возникновения.
Если событие не произошло, имеется условие uncertainty.
Если событие только что произошло, есть условие surprise.
Если событие произошло некоторое время назад, существует условие наличия некоторого information.
Следовательно, эти три события происходят в разное время. Разница в этих условиях помогает нам иметь представление о вероятности наступления событий.
Энтропия
Когда мы наблюдаем возможность возникновения события, независимо от того, насколько оно неожиданное или неопределенное, это означает, что мы пытаемся получить представление о среднем содержании информации из источника события.
Entropy может быть определен как мера среднего информационного содержания на исходный символ. Claude Shannon, «отец теории информации», дал формулу для нее как
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Где $ p_i $ - вероятность появления символа номер iиз заданного потока символов, а b - основа используемого алгоритма. Следовательно, это также называетсяShannon’s Entropy.
Степень неопределенности, остающаяся в отношении входа канала после наблюдения за выходом канала, называется Conditional Entropy. Обозначается $ H (x \ arrowvert y) $.
Дискретный источник без памяти
Источник, из которого данные отправляются с последовательными интервалами, не зависящими от предыдущих значений, можно назвать discrete memoryless source.
Этот источник дискретный, поскольку он рассматривается не для непрерывного временного интервала, а для дискретных временных интервалов. Этот источник не имеет памяти, поскольку он актуален в каждый момент времени, без учета предыдущих значений.
Исходное кодирование
Согласно определению, «Учитывая дискретный источник энтропии без памяти $ H (\ delta) $, средняя длина кодового слова $ \ bar {L} $ для любой исходной кодировки ограничена как $ \ bar {L} \ geq H (\ delta) $ ».
Проще говоря, кодовое слово (например: код Морзе для слова QUEUE - -.- ..-. ..-.) Всегда больше или равно исходному коду (например, QUEUE). Это означает, что символы в кодовом слове больше или равны алфавитам в исходном коде.
Кодирование каналов
Канальное кодирование в системе связи вводит избыточность с контролем, чтобы повысить надежность системы. Исходное кодирование снижает избыточность для повышения эффективности системы.
Кодирование канала состоит из двух частей действия.
Mapping последовательность входящих данных во входную последовательность канала.
Inverse mapping последовательность вывода канала в последовательность данных вывода.
Конечная цель - свести к минимуму общий эффект шума канала.
Отображение выполняется передатчиком с помощью кодера, тогда как обратное отображение выполняется в приемнике с помощью декодера.