Цифровая коммуникация - теория информации

Информация является источником системы связи, будь то аналоговая или цифровая. Information theory представляет собой математический подход к изучению кодирования информации наряду с количественной оценкой, хранением и передачей информации.

Условия возникновения событий

Если мы рассматриваем событие, есть три условия его возникновения.

  • Если событие не произошло, имеется условие uncertainty.

  • Если событие только что произошло, есть условие surprise.

  • Если событие произошло некоторое время назад, существует условие наличия некоторого information.

Эти три события происходят в разное время. Разница в этих условиях помогает нам узнать о вероятности наступления событий.

Энтропия

Когда мы наблюдаем возможность возникновения события, насколько оно было бы неожиданным или неопределенным, это означает, что мы пытаемся иметь представление о среднем содержании информации из источника события.

Entropy может быть определен как мера среднего информационного содержания на исходный символ. Claude Shannon, «отец теории информации», сформулировал ее следующим образом:

$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$

куда pi вероятность появления символа номер i из заданного потока символов и bявляется основой используемого алгоритма. Следовательно, это также называетсяShannon’s Entropy.

Степень неопределенности, остающаяся в отношении входа канала после наблюдения за выходом канала, называется Conditional Entropy. Обозначается $ H (x \ mid y) $.

Взаимная информация

Рассмотрим канал, выход которого Y и ввод X

Пусть энтропия априорной неопределенности равна X = H(x)

(Это предполагается до того, как будет применен ввод)

Чтобы узнать о неопределенности выходных данных, после применения входных данных давайте рассмотрим условную энтропию, учитывая, что Y = yk

$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$

Это случайная величина для $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ с вероятностями $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $ соответственно.

Среднее значение $ H (X \ mid y = y_k) $ для выходного алфавита y это -

$ H \ left (X \ mid Y \ right) = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} H \ left (X \ mid y = y_k \ right) p \ left (y_k \ right ) $

$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) p \ left (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $

$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j, y_k \ right) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $

Теперь, учитывая оба условия неопределенности (до и после применения входных данных), мы приходим к выводу, что разница, то есть $ H (x) - H (x \ mid y) $, должна представлять неопределенность относительно входа канала, которая разрешена. наблюдая за выходом канала.

Это называется Mutual Information канала.

Обозначая взаимную информацию как $ I (x; y) $, мы можем записать все это в уравнении следующим образом

$$ I (x; y) = H (x) - H (x \ mid y) $$

Следовательно, это эквациональное представление взаимной информации.

Свойства взаимной информации

Это свойства взаимной информации.

  • Взаимная информация канала симметрична.

    $$ I (x; y) = I (y; x) $$

  • Взаимная информация неотрицательна.

    $$ I (x; y) \ geq 0 $$

  • Взаимная информация может быть выражена в терминах энтропии выхода канала.

    $$ I (x; y) = H (y) - H (y \ mid x) $$

    Где $ H (y \ mid x) $ - условная энтропия

  • Взаимная информация канала связана с совместной энтропией входа канала и выхода канала.

    $$ I (x; y) = H (x) + H (y) - H (x, y) $$

    Где совместная энтропия $ H (x, y) $ определяется формулой

    $$ ЧАС (Икс, Y) = \ Displaystyle \ сумма \ limits_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$

Емкость канала

Мы пока обсуждали взаимную информацию. Максимальное среднее значение взаимной информации в момент интервала сигнализации при передаче по дискретному каналу без памяти, вероятности скорости максимально надежной передачи данных можно понимать какchannel capacity.

Обозначается он C и измеряется в bits per channel использовать.

Дискретный источник без памяти

Источник, из которого данные передаются с последовательными интервалами, не зависящими от предыдущих значений, можно назвать discrete memoryless source.

Этот источник дискретный, поскольку он рассматривается не для непрерывного временного интервала, а для дискретных временных интервалов. Этот источник не имеет памяти, поскольку он актуален в каждый момент времени, без учета предыдущих значений.