Dijital İletişim - Bilgi Teorisi
Bilgi, ister analog ister dijital olsun, bir iletişim sisteminin kaynağıdır. Information theory bilginin nicelendirilmesi, depolanması ve iletişimi ile birlikte bilginin kodlanması çalışmasına matematiksel bir yaklaşımdır.
Olayların Oluşma Koşulları
Bir olayı ele alırsak, üç gerçekleşme koşulu vardır.
Olay gerçekleşmediyse, bir durum vardır uncertainty.
Olay yeni meydana gelmişse, şu koşul vardır: surprise.
Olay meydana geldiyse, bir zaman geriye, bazılarına sahip olma koşulu vardır. information.
Bu üç olay farklı zamanlarda gerçekleşir. Bu koşullardaki fark, olayların gerçekleşme olasılıkları hakkında bilgi edinmemize yardımcı olur.
Entropi
Bir olayın meydana gelme olasılıklarını, ne kadar şaşırtıcı veya belirsiz olacağını gözlemlediğimizde, bu, olayın kaynağından gelen bilginin ortalama içeriği hakkında bir fikir edinmeye çalıştığımız anlamına gelir.
Entropy kaynak sembolü başına ortalama bilgi içeriğinin bir ölçüsü olarak tanımlanabilir. Claude Shannon, "Bilgi Teorisinin babası" bunun için bir formül sağladı:
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Nerede pi karakter numarasının oluşma olasılığı i belirli bir karakter akışından ve bkullanılan algoritmanın temelidir. Bu nedenle, bu aynı zamandaShannon’s Entropy.
Kanal çıkışı gözlemlendikten sonra kanal girişi hakkında kalan belirsizlik miktarına Conditional Entropy. $ H (x \ mid y) $ ile gösterilir
Karşılıklı bilgi
Çıktısı şu olan bir kanalı düşünelim: Y ve girdi X
Önceki belirsizlik için entropi olsun X = H(x)
(Bu, girdi uygulanmadan önce varsayılır)
Çıktının belirsizliğini bilmek için, girdi uygulandıktan sonra, Koşullu Entropiyi düşünelim. Y = yk
$$ H \ left (x \ mid y_k \ sağ) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ sağ) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ sağ] $$
Bu, $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ sırasıyla $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $ olasılıkları ile.
Çıktı alfabesi için $ H (X \ mid y = y_k) $ ortalama değeri y -
$ H \ sol (X \ orta Y \ sağ) = \ displaystyle \ toplam \ limits_ {k = 0} ^ {k - 1} H \ sol (X \ orta y = y_k \ sağ) p \ sol (y_k \ sağ ) $
$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ sol (x_j \ orta y_k \ sağ) p \ sol (y_k \ sağ) \ log_ {2} \ sol [\ frac {1} {p \ left (x_j \ mid y_k \ sağ)} \ sağ] $
$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ sol (x_j, y_k \ sağ) \ log_ {2 } \ sol [\ frac {1} {p \ left (x_j \ mid y_k \ sağ)} \ sağ] $
Şimdi, her iki belirsizlik koşulunu da göz önünde bulundurarak (girdileri uygulamadan önce ve sonra), farkın, yani $ H (x) - H (x \ mid y) $ 'ın, çözülen kanal girdisi hakkındaki belirsizliği temsil etmesi gerektiğini biliyoruz. kanal çıkışını gözlemleyerek.
Bu, Mutual Information kanalın.
Karşılıklı Bilgiyi $ I (x; y) $ olarak ifade ederek, her şeyi aşağıdaki gibi bir denklemde yazabiliriz
$$ I (x; y) = H (x) - H (x \ mid y) $$
Dolayısıyla, bu Karşılıklı Bilginin eşitlikçi temsilidir.
Karşılıklı bilginin özellikleri
Bunlar Karşılıklı bilginin özellikleridir.
Bir kanalın karşılıklı bilgisi simetriktir.
$$ I (x; y) = I (y; x) $$
Karşılıklı bilgi olumsuz değildir.
$$ I (x; y) \ geq 0 $$
Karşılıklı bilgi, kanal çıktısının entropisi cinsinden ifade edilebilir.
$$ I (x; y) = H (y) - H (y \ mid x) $$
$ H (y \ mid x) $ koşullu bir entropidir
Bir kanalın karşılıklı bilgisi, kanal girişi ve kanal çıktısının ortak entropisiyle ilgilidir.
$$ I (x; y) = H (x) + H (y) - H (x, y) $$
$ H (x, y) $ ortak entropisi şu şekilde tanımlanır:
$$ H (x, y) = \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ sağ)} \ sağ) $$
Kanal Kapasitesi
Şimdiye kadar karşılıklı bilgileri tartıştık. Bir sinyalleme aralığı anında maksimum ortalama karşılıklı bilgi, ayrık bir hafızasız kanal tarafından iletildiğinde, maksimum güvenilir veri iletim hızının olasılıkları olarak anlaşılabilir.channel capacity.
İle gösterilir C ve ölçülür bits per channel kullanın.
Ayrık Belleksiz Kaynak
Verilerin birbirini takip eden aralıklarla gönderildiği ve önceki değerlerden bağımsız olan bir kaynak şu şekilde adlandırılabilir: discrete memoryless source.
Bu kaynak, sürekli bir zaman aralığı için değil, farklı zaman aralıklarında dikkate alındığı için ayrıktır. Bu kaynak, önceki değerler dikkate alınmaksızın her an taze olduğu için hafızasızdır.