Bilgi Teorisi
Bilgi, ister analog ister dijital olsun, bir iletişim sisteminin kaynağıdır. Information theory bilginin ölçülmesi, depolanması ve iletişimi ile birlikte bilginin kodlanması çalışmasına matematiksel bir yaklaşımdır.
Olayların Oluşma Koşulları
Bir olayı ele alırsak, üç gerçekleşme koşulu vardır.
Olay gerçekleşmediyse, bir durum vardır uncertainty.
Olay yeni meydana gelmişse, şu koşul vardır: surprise.
Olay meydana geldiyse, bir zaman geriye, bazılarına sahip olma koşulu vardır. information.
Dolayısıyla, bu üçü farklı zamanlarda ortaya çıkar. Bu koşullardaki fark, olayların gerçekleşme olasılıkları hakkında bilgi sahibi olmamıza yardımcı olur.
Entropi
Bir olayın meydana gelme olasılıklarını gözlemlediğimizde, ne kadar sürpriz ya da belirsiz olacağını gözlemlediğimizde, bu, olayın kaynağından gelen bilginin ortalama içeriği hakkında bir fikir sahibi olmaya çalıştığımız anlamına gelir.
Entropy kaynak sembolü başına ortalama bilgi içeriğinin bir ölçüsü olarak tanımlanabilir. Claude Shannon"Bilgi Teorisinin babası" bunun için bir formül vermiştir:
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
$ P_i $, karakter numarasının ortaya çıkma olasılığıdır ibelirli bir karakter akışından ve b kullanılan algoritmanın temelidir. Bu nedenle, bu aynı zamandaShannon’s Entropy.
Kanal çıkışı gözlemlendikten sonra kanal girişi hakkında kalan belirsizlik miktarı, Conditional Entropy. $ H (x \ arrowvert y) $ ile gösterilir
Ayrık Belleksiz Kaynak
Verilerin birbirini takip eden aralıklarla gönderildiği ve önceki değerlerden bağımsız olan bir kaynak şu şekilde adlandırılabilir: discrete memoryless source.
Bu kaynak, sürekli bir zaman aralığı için değil, farklı zaman aralıkları için düşünüldüğü için ayrıktır. Bu kaynak, önceki değerler dikkate alınmaksızın her an taze olduğu için hafızasızdır.
Kaynak Kodlama
"$ H (\ delta) $ entropisinin ayrı bir belleksiz kaynağı verildiğinde, herhangi bir kaynak kodlaması için ortalama kod-kelime uzunluğu $ \ bar {L} $, $ \ bar {L} \ geq H olarak sınırlandırılır. (\ delta) $ ”.
Daha basit kelimelerde, kod-kelime (Örneğin: KUYRUK kelimesi için mors kodu -.- ..-. ..-.) Her zaman kaynak koddan büyük veya ona eşittir (örnekte KUYRU). Bu, kod kelimesindeki sembollerin kaynak koddaki alfabelerden büyük veya bunlara eşit olduğu anlamına gelir.
Kanal Kodlama
Bir iletişim sistemindeki kanal kodlaması, sistemin güvenilirliğini arttırmak için bir kontrol ile fazlalık sağlar. Kaynak kodlama, sistemin verimliliğini artırmak için fazlalığı azaltır.
Kanal kodlaması iki bölümden oluşur.
Mapping bir kanal giriş sırasına gelen veri dizisi.
Inverse mapping kanal çıktı dizisini bir çıktı veri dizisine dönüştürür.
Nihai hedef, kanal gürültüsünün genel etkisinin en aza indirilmesi gerektiğidir.
Haritalama, bir kodlayıcı yardımıyla verici tarafından yapılırken, ters eşleme alıcıda bir kod çözücü tarafından yapılır.