Цифровая коммуникация - теория информации
Информация является источником системы связи, будь то аналоговая или цифровая. Information theory представляет собой математический подход к изучению кодирования информации наряду с количественной оценкой, хранением и передачей информации.
Условия возникновения событий
Если мы рассматриваем событие, есть три условия его возникновения.
Если событие не произошло, имеется условие uncertainty.
Если событие только что произошло, есть условие surprise.
Если событие произошло некоторое время назад, существует условие наличия некоторого information.
Эти три события происходят в разное время. Разница в этих условиях помогает нам узнать о вероятности наступления событий.
Энтропия
Когда мы наблюдаем возможность возникновения события, насколько оно было бы неожиданным или неопределенным, это означает, что мы пытаемся иметь представление о среднем содержании информации из источника события.
Entropy может быть определен как мера среднего информационного содержания на исходный символ. Claude Shannon, «отец теории информации», сформулировал ее следующим образом:
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
куда pi вероятность появления символа номер i из заданного потока символов и bявляется основой используемого алгоритма. Следовательно, это также называетсяShannon’s Entropy.
Степень неопределенности, остающаяся в отношении входа канала после наблюдения за выходом канала, называется Conditional Entropy. Обозначается $ H (x \ mid y) $.
Взаимная информация
Рассмотрим канал, выход которого Y и ввод X
Пусть энтропия априорной неопределенности равна X = H(x)
(Это предполагается до того, как будет применен ввод)
Чтобы узнать о неопределенности выходных данных, после применения входных данных давайте рассмотрим условную энтропию, учитывая, что Y = yk
$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$
Это случайная величина для $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ с вероятностями $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $ соответственно.
Среднее значение $ H (X \ mid y = y_k) $ для выходного алфавита y это -
$ H \ left (X \ mid Y \ right) = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} H \ left (X \ mid y = y_k \ right) p \ left (y_k \ right ) $
$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) p \ left (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j, y_k \ right) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
Теперь, учитывая оба условия неопределенности (до и после применения входных данных), мы приходим к выводу, что разница, то есть $ H (x) - H (x \ mid y) $, должна представлять неопределенность относительно входа канала, которая разрешена. наблюдая за выходом канала.
Это называется Mutual Information канала.
Обозначая взаимную информацию как $ I (x; y) $, мы можем записать все это в уравнении следующим образом
$$ I (x; y) = H (x) - H (x \ mid y) $$
Следовательно, это эквациональное представление взаимной информации.
Свойства взаимной информации
Это свойства взаимной информации.
Взаимная информация канала симметрична.
$$ I (x; y) = I (y; x) $$
Взаимная информация неотрицательна.
$$ I (x; y) \ geq 0 $$
Взаимная информация может быть выражена в терминах энтропии выхода канала.
$$ I (x; y) = H (y) - H (y \ mid x) $$
Где $ H (y \ mid x) $ - условная энтропия
Взаимная информация канала связана с совместной энтропией входа канала и выхода канала.
$$ I (x; y) = H (x) + H (y) - H (x, y) $$
Где совместная энтропия $ H (x, y) $ определяется формулой
$$ ЧАС (Икс, Y) = \ Displaystyle \ сумма \ limits_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$
Емкость канала
Мы пока обсуждали взаимную информацию. Максимальное среднее значение взаимной информации в момент интервала сигнализации при передаче по дискретному каналу без памяти, вероятности скорости максимально надежной передачи данных можно понимать какchannel capacity.
Обозначается он C и измеряется в bits per channel использовать.
Дискретный источник без памяти
Источник, из которого данные передаются с последовательными интервалами, не зависящими от предыдущих значений, можно назвать discrete memoryless source.
Этот источник дискретный, поскольку он рассматривается не для непрерывного временного интервала, а для дискретных временных интервалов. Этот источник не имеет памяти, поскольку он актуален в каждый момент времени, без учета предыдущих значений.