Теория информации

Информация является источником системы связи, будь то аналоговая или цифровая. Information theory представляет собой математический подход к изучению кодирования информации наряду с количественной оценкой, хранением и передачей информации.

Условия возникновения событий

Если мы рассматриваем событие, есть три условия его возникновения.

  • Если событие не произошло, имеется условие uncertainty.

  • Если событие только что произошло, есть условие surprise.

  • Если событие произошло некоторое время назад, существует условие наличия некоторого information.

Следовательно, эти три события происходят в разное время. Разница в этих условиях помогает нам иметь представление о вероятности наступления событий.

Энтропия

Когда мы наблюдаем возможность возникновения события, независимо от того, насколько оно неожиданное или неопределенное, это означает, что мы пытаемся получить представление о среднем содержании информации из источника события.

Entropy может быть определен как мера среднего информационного содержания на исходный символ. Claude Shannon, «отец теории информации», дал формулу для нее как

$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$

Где $ p_i $ - вероятность появления символа номер iиз заданного потока символов, а b - основа используемого алгоритма. Следовательно, это также называетсяShannon’s Entropy.

Степень неопределенности, остающаяся в отношении входа канала после наблюдения за выходом канала, называется Conditional Entropy. Обозначается $ H (x \ arrowvert y) $.

Дискретный источник без памяти

Источник, из которого данные отправляются с последовательными интервалами, не зависящими от предыдущих значений, можно назвать discrete memoryless source.

Этот источник дискретный, поскольку он рассматривается не для непрерывного временного интервала, а для дискретных временных интервалов. Этот источник не имеет памяти, поскольку он актуален в каждый момент времени, без учета предыдущих значений.

Исходное кодирование

Согласно определению, «Учитывая дискретный источник энтропии без памяти $ H (\ delta) $, средняя длина кодового слова $ \ bar {L} $ для любой исходной кодировки ограничена как $ \ bar {L} \ geq H (\ delta) $ ».

Проще говоря, кодовое слово (например: код Морзе для слова QUEUE - -.- ..-. ..-.) Всегда больше или равно исходному коду (например, QUEUE). Это означает, что символы в кодовом слове больше или равны алфавитам в исходном коде.

Кодирование каналов

Канальное кодирование в системе связи вводит избыточность с контролем, чтобы повысить надежность системы. Исходное кодирование снижает избыточность для повышения эффективности системы.

Кодирование канала состоит из двух частей действия.

  • Mapping последовательность входящих данных во входную последовательность канала.

  • Inverse mapping последовательность вывода канала в последовательность данных вывода.

Конечная цель - свести к минимуму общий эффект шума канала.

Отображение выполняется передатчиком с помощью кодера, тогда как обратное отображение выполняется в приемнике с помощью декодера.