Teoria da Informação
A informação é a fonte de um sistema de comunicação, seja analógico ou digital. Information theory é uma abordagem matemática para o estudo da codificação de informações junto com a quantificação, armazenamento e comunicação de informações.
Condições de ocorrência de eventos
Se considerarmos um evento, existem três condições de ocorrência.
Se o evento não ocorreu, existe uma condição de uncertainty.
Se o evento acabou de ocorrer, há uma condição de surprise.
Se o evento ocorreu, há um tempo atrás, existe a condição de haver algum information.
Portanto, esses três ocorrem em momentos diferentes. A diferença nestas condições, ajuda-nos a ter um conhecimento das probabilidades de ocorrência dos eventos.
Entropia
Quando observamos as possibilidades de ocorrência de um evento, seja o quão surpreendente ou incerto ele seria, significa que estamos tentando ter uma ideia sobre o conteúdo médio das informações da fonte do evento.
Entropy pode ser definido como uma medida do conteúdo médio de informação por símbolo de fonte. Claude Shannon, o "pai da Teoria da Informação", deu uma fórmula para isso como
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Onde $ p_i $ é a probabilidade de ocorrência do número do caractere ide um determinado fluxo de caracteres eb é a base do algoritmo usado. Portanto, isso também é chamado deShannon’s Entropy.
A quantidade de incerteza remanescente sobre a entrada do canal após observar a saída do canal é chamada de Conditional Entropy. É denotado por $ H (x \ arrowvert y) $
Fonte Discreta Sem Memória
Uma fonte da qual os dados estão sendo emitidos em intervalos sucessivos, que é independente dos valores anteriores, pode ser denominada como discrete memoryless source.
Esta fonte é discreta, pois não é considerada para um intervalo de tempo contínuo, mas em intervalos de tempo discretos. Esta fonte é destituída de memória, uma vez que é renovada a cada instante do tempo, sem considerar os valores anteriores.
Código Fonte
De acordo com a definição, “Dada uma fonte discreta sem memória de entropia $ H (\ delta) $, o comprimento médio da palavra-código $ \ bar {L} $ para qualquer codificação de origem é limitado como $ \ bar {L} \ geq H (\ delta) $ ”.
Em palavras mais simples, a palavra-código (por exemplo: código Morse para a palavra QUEUE é -.- ..-. ..-.) É sempre maior ou igual ao código-fonte (QUEUE no exemplo). O que significa que os símbolos na palavra de código são maiores ou iguais aos alfabetos no código-fonte.
Codificação de Canal
A codificação do canal em um sistema de comunicação, introduz redundância com um controle, de forma a melhorar a confiabilidade do sistema. A codificação de origem reduz a redundância para melhorar a eficiência do sistema.
A codificação do canal consiste em duas partes de ação.
Mapping sequência de dados de entrada em uma sequência de entrada de canal.
Inverse mapping a sequência de saída do canal em uma sequência de dados de saída.
O objetivo final é que o efeito geral do ruído do canal seja minimizado.
O mapeamento é feito pelo transmissor, com o auxílio de um codificador, enquanto o mapeamento inverso é feito no receptor por um decodificador.