ทฤษฎีสารสนเทศ
ข้อมูลเป็นแหล่งที่มาของระบบการสื่อสารไม่ว่าจะเป็นอนาล็อกหรือดิจิทัล Information theory เป็นวิธีการทางคณิตศาสตร์ในการศึกษาการเข้ารหัสข้อมูลพร้อมกับการหาปริมาณการจัดเก็บและการสื่อสารข้อมูล
เงื่อนไขการเกิดเหตุการณ์
หากเราพิจารณาเหตุการณ์มีสามเงื่อนไขของการเกิดขึ้น
หากเหตุการณ์ยังไม่เกิดขึ้นแสดงว่ามีเงื่อนไข uncertainty.
หากเหตุการณ์เพิ่งเกิดขึ้นมีเงื่อนไขของ surprise.
หากเหตุการณ์ได้เกิดขึ้นย้อนเวลามีเงื่อนไขของการมีบางอย่าง information.
ดังนั้นทั้งสามจึงเกิดขึ้นในช่วงเวลาที่ต่างกัน ความแตกต่างของเงื่อนไขเหล่านี้ช่วยให้เรามีความรู้เกี่ยวกับความน่าจะเป็นของเหตุการณ์ที่เกิดขึ้น
เอนโทรปี
เมื่อเราสังเกตความเป็นไปได้ของการเกิดเหตุการณ์ไม่ว่าจะเกิดความประหลาดใจหรือไม่แน่นอนเพียงใดนั่นหมายความว่าเราพยายามมีความคิดเกี่ยวกับเนื้อหาโดยเฉลี่ยของข้อมูลจากแหล่งที่มาของเหตุการณ์
Entropy สามารถกำหนดเป็นการวัดเนื้อหาข้อมูลโดยเฉลี่ยต่อสัญลักษณ์แหล่งที่มา Claude Shannonซึ่งเป็น“ บิดาแห่งทฤษฎีสารสนเทศ” ได้กำหนดสูตรไว้ว่า
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
โดยที่ $ p_i $ คือความน่าจะเป็นของการเกิดจำนวนอักขระ iจากสตรีมของอักขระที่กำหนดและ b คือฐานของอัลกอริทึมที่ใช้ ดังนั้นจึงเรียกอีกอย่างว่าShannon’s Entropy.
จำนวนความไม่แน่นอนที่เหลืออยู่เกี่ยวกับอินพุตช่องหลังจากสังเกตเอาต์พุตช่องเรียกว่า as Conditional Entropy. แสดงโดย $ H (x \ arrowvert y) $
แหล่งที่มาของหน่วยความจำแบบไม่ต่อเนื่อง
แหล่งที่มาซึ่งข้อมูลถูกปล่อยออกมาในช่วงเวลาที่ต่อเนื่องกันซึ่งไม่ขึ้นอยู่กับค่าก่อนหน้านี้สามารถเรียกได้ว่าเป็น discrete memoryless source.
แหล่งที่มานี้ไม่ต่อเนื่องเนื่องจากไม่ได้รับการพิจารณาสำหรับช่วงเวลาต่อเนื่อง แต่เป็นช่วงเวลาที่ไม่ต่อเนื่อง แหล่งที่มานี้ไม่มีหน่วยความจำเนื่องจากเป็นแหล่งข้อมูลใหม่ในแต่ละช่วงเวลาโดยไม่พิจารณาค่าก่อนหน้า
การเข้ารหัสแหล่งที่มา
ตามคำจำกัดความ "ด้วยแหล่งที่มาของเอนโทรปี $ H (\ delta) $ แบบไม่ต่อเนื่องความยาวรหัส - คำเฉลี่ย $ \ bar {L} $ สำหรับการเข้ารหัสแหล่งที่มาใด ๆ จะมีขอบเขตเป็น $ \ bar {L} \ geq H (\ delta) $”.
ในคำที่ง่ายกว่านั้น code-word (ตัวอย่างเช่นรหัสมอร์สสำหรับคำว่า QUEUE คือ -.- ..-. ..-.) จะมากกว่าหรือเท่ากับซอร์สโค้ดเสมอ (ตัวอย่างเช่น QUEUE) ซึ่งหมายความว่าสัญลักษณ์ในคำรหัสมีค่ามากกว่าหรือเท่ากับตัวอักษรในซอร์สโค้ด
การเข้ารหัสช่อง
การเข้ารหัสช่องสัญญาณในระบบการสื่อสารแนะนำความซ้ำซ้อนด้วยการควบคุมเพื่อปรับปรุงความน่าเชื่อถือของระบบ Source coding ช่วยลดความซ้ำซ้อนเพื่อปรับปรุงประสิทธิภาพของระบบ
การเข้ารหัสช่องประกอบด้วยการดำเนินการสองส่วน
Mapping ลำดับข้อมูลขาเข้าในลำดับอินพุตช่อง
Inverse mapping ลำดับช่องสัญญาณออกเป็นลำดับข้อมูลเอาต์พุต
เป้าหมายสุดท้ายคือควรลดผลกระทบโดยรวมของสัญญาณรบกวนของช่องสัญญาณ
การทำแผนที่ทำได้โดยเครื่องส่งสัญญาณด้วยความช่วยเหลือของตัวเข้ารหัสในขณะที่การทำแผนที่ผกผันจะกระทำที่เครื่องรับโดยตัวถอดรหัส