การสื่อสารดิจิทัล - ทฤษฎีสารสนเทศ

ข้อมูลเป็นแหล่งที่มาของระบบการสื่อสารไม่ว่าจะเป็นอนาล็อกหรือดิจิทัล Information theory เป็นวิธีการทางคณิตศาสตร์ในการศึกษาการเข้ารหัสข้อมูลพร้อมกับการหาปริมาณการจัดเก็บและการสื่อสารข้อมูล

เงื่อนไขการเกิดเหตุการณ์

หากเราพิจารณาเหตุการณ์มีสามเงื่อนไขของการเกิดขึ้น

• หากเหตุการณ์ยังไม่เกิดขึ้นแสดงว่ามีเงื่อนไข uncertainty.

• หากเหตุการณ์เพิ่งเกิดขึ้นมีเงื่อนไขของ surprise.

• หากเหตุการณ์ได้เกิดขึ้นย้อนเวลามีเงื่อนไขของการมีบางอย่าง information.

ทั้งสามเหตุการณ์นี้เกิดขึ้นในช่วงเวลาที่ต่างกัน ความแตกต่างของเงื่อนไขเหล่านี้ช่วยให้เราได้รับความรู้เกี่ยวกับความน่าจะเป็นของการเกิดเหตุการณ์

เอนโทรปี

เมื่อเราสังเกตความเป็นไปได้ของการเกิดเหตุการณ์ว่ามันจะน่าประหลาดใจหรือไม่แน่นอนเพียงใดนั่นหมายความว่าเราพยายามที่จะมีความคิดเกี่ยวกับเนื้อหาโดยเฉลี่ยของข้อมูลจากแหล่งที่มาของเหตุการณ์

Entropy สามารถกำหนดเป็นการวัดเนื้อหาข้อมูลโดยเฉลี่ยต่อสัญลักษณ์แหล่งที่มา Claude Shannonซึ่งเป็น“ บิดาแห่งทฤษฎีสารสนเทศ” ได้จัดเตรียมสูตรไว้เป็น -

$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$

ที่ไหน p_i คือความน่าจะเป็นของการเกิดจำนวนอักขระ i จากสตรีมตัวละครและ bเป็นฐานของอัลกอริทึมที่ใช้ ดังนั้นจึงเรียกอีกอย่างว่าShannon’s Entropy.

จำนวนความไม่แน่นอนที่เหลืออยู่เกี่ยวกับอินพุตช่องหลังจากสังเกตเอาต์พุตช่องเรียกว่า as Conditional Entropy. แสดงโดย $ H (x \ mid y) $

ข้อมูลร่วมกัน

ให้เราพิจารณาช่องที่มีเอาต์พุต Y และอินพุตคือ X

ปล่อยให้เอนโทรปีสำหรับความไม่แน่นอนก่อนหน้านี้ X = H(x)

(สิ่งนี้สันนิษฐานก่อนที่จะใช้อินพุต)

หากต้องการทราบเกี่ยวกับความไม่แน่นอนของผลลัพธ์หลังจากใช้อินพุตแล้วให้เราพิจารณาเอนโทรปีแบบมีเงื่อนไขตามที่ระบุ Y = y_k

$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$

นี่คือตัวแปรสุ่มสำหรับ $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ พร้อมความน่าจะเป็น $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $ ตามลำดับ

ค่าเฉลี่ยของ $ H (X \ mid y = y_k) $ สำหรับอักษรเอาต์พุต y คือ -

$ H \ left (X \ กลาง Y \ right) = \ displaystyle \ sum \ LIMIT_ {k = 0} ^ {k - 1} H \ left (X \ mid y = y_k \ right) p \ left (y_k \ right ) $

$ = \ displaystyle \ sum \ LIMIT_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ LIMIT_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) p \ left (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $

$ = \ displaystyle \ sum \ LIMIT_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ LIMIT_ {j = 0} ^ {j - 1} p \ left (x_j, y_k \ right) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $

ตอนนี้เมื่อพิจารณาถึงเงื่อนไขความไม่แน่นอนทั้งสอง (ก่อนและหลังการใช้ปัจจัยการผลิต) เรามารู้ว่าความแตกต่างเช่น $ H (x) - H (x \ mid y) $ ต้องแสดงถึงความไม่แน่นอนเกี่ยวกับอินพุตช่องที่ได้รับการแก้ไข โดยสังเกตช่องเอาท์พุท

ซึ่งเรียกว่าเป็นไฟล์ Mutual Information ของช่อง

การแสดงข้อมูลร่วมกันเป็น $ I (x; y) $ เราสามารถเขียนสิ่งทั้งหมดในสมการได้ดังนี้

$$ I (x; y) = H (x) - H (x \ mid y) $$

ดังนั้นนี่คือการแสดงข้อมูลร่วมกันอย่างเท่าเทียมกัน

คุณสมบัติของข้อมูลร่วมกัน

นี่คือคุณสมบัติของข้อมูลร่วมกัน

• ข้อมูลร่วมกันของช่องเป็นแบบสมมาตร

  $$ ฉัน (x; y) = ฉัน (y; x) $$

• ข้อมูลร่วมกันไม่เป็นลบ

  $$ ฉัน (x; y) \ geq 0 $$

• ข้อมูลร่วมกันสามารถแสดงในรูปของเอนโทรปีของเอาต์พุตช่องสัญญาณ

  $$ I (x; y) = H (y) - H (y \ mid x) $$

  โดยที่ $ H (y \ mid x) $ เป็นเอนโทรปีแบบมีเงื่อนไข

• ข้อมูลร่วมกันของช่องสัญญาณเกี่ยวข้องกับเอนโทรปีร่วมของอินพุตช่องสัญญาณและเอาต์พุตช่องสัญญาณ

  $$ I (x; y) = H (x) + H (y) - H (x, y) $$

  โดยที่เอนโทรปีร่วม $ H (x, y) $ ถูกกำหนดโดย

  $$ H (x, y) = \ displaystyle \ sum \ LIMIT_ {j = 0} ^ {j-1} \ displaystyle \ sum \ LIMIT_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$

ความจุช่อง

เราได้พูดคุยถึงข้อมูลซึ่งกันและกันแล้ว ข้อมูลร่วมกันโดยเฉลี่ยสูงสุดในช่วงเวลาการส่งสัญญาณเมื่อส่งโดยช่องสัญญาณที่ไม่ต่อเนื่องหน่วยความจำความน่าจะเป็นของอัตราการส่งข้อมูลที่เชื่อถือได้สูงสุดสามารถเข้าใจได้ว่าchannel capacity.

แสดงโดย C และวัดเป็น bits per channel ใช้.

แหล่งที่มาของหน่วยความจำแบบไม่ต่อเนื่อง

แหล่งที่มาซึ่งข้อมูลถูกปล่อยออกมาในช่วงเวลาที่ต่อเนื่องกันซึ่งไม่ขึ้นอยู่กับค่าก่อนหน้านี้สามารถเรียกได้ว่าเป็น discrete memoryless source.

แหล่งที่มานี้ไม่ต่อเนื่องเนื่องจากไม่ได้รับการพิจารณาสำหรับช่วงเวลาต่อเนื่อง แต่เป็นช่วงเวลาที่ไม่ต่อเนื่อง แหล่งที่มานี้ไม่มีหน่วยความจำเนื่องจากเป็นแหล่งข้อมูลใหม่ในแต่ละช่วงเวลาโดยไม่พิจารณาค่าก่อนหน้า