Truyền thông Kỹ thuật số - Lý thuyết Thông tin
Thông tin là nguồn gốc của hệ thống truyền thông, cho dù nó là tương tự hay kỹ thuật số. Information theory là một cách tiếp cận toán học để nghiên cứu mã hóa thông tin cùng với việc định lượng, lưu trữ và truyền đạt thông tin.
Điều kiện xuất hiện sự kiện
Nếu chúng ta xem xét một sự kiện, có ba điều kiện xảy ra.
Nếu sự kiện chưa xảy ra, có một điều kiện là uncertainty.
Nếu sự kiện vừa xảy ra, có một điều kiện là surprise.
Nếu sự kiện đã xảy ra, một thời gian trở lại, có một điều kiện là có một số information.
Ba sự kiện này xảy ra vào những thời điểm khác nhau. Sự khác biệt trong các điều kiện này giúp chúng ta có được kiến thức về xác suất xảy ra các sự kiện.
Sự hỗn loạn
Khi chúng ta quan sát các khả năng xảy ra của một sự kiện, mức độ ngạc nhiên hoặc không chắc chắn của nó, điều đó có nghĩa là chúng ta đang cố gắng có ý tưởng về nội dung trung bình của thông tin từ nguồn của sự kiện.
Entropy có thể được định nghĩa là thước đo hàm lượng thông tin trung bình trên mỗi ký hiệu nguồn. Claude Shannon, "cha đẻ của Lý thuyết Thông tin", đã cung cấp một công thức cho nó là -
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Ở đâu pi là xác suất xuất hiện của số ký tự i từ một luồng ký tự nhất định và blà cơ sở của thuật toán được sử dụng. Do đó, điều này còn được gọi làShannon’s Entropy.
Mức độ không chắc chắn còn lại về đầu vào kênh sau khi quan sát đầu ra kênh, được gọi là Conditional Entropy. Nó được ký hiệu là $ H (x \ mid y) $
Thông tin lẫn nhau
Hãy để chúng tôi xem xét một kênh có đầu ra là Y và đầu vào là X
Hãy để entropy cho sự không chắc chắn trước là X = H(x)
(Điều này được giả định trước khi đầu vào được áp dụng)
Để biết về độ không chắc chắn của đầu ra, sau khi đầu vào được áp dụng, chúng ta hãy xem xét Entropy có điều kiện, với điều kiện Y = yk
$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$
Đây là một biến ngẫu nhiên cho $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ với các xác suất $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $ tương ứng.
Giá trị trung bình của $ H (X \ mid y = y_k) $ cho bảng chữ cái đầu ra y là -
$ H \ left (X \ mid Y \ right) = \ displaystyle \ sum \ limit_ {k = 0} ^ {k - 1} H \ left (X \ mid y = y_k \ right) p \ left (y_k \ right ) $
$ = \ displaystyle \ sum \ limit_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limit_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) p \ left (y_k \ right) \ log_ {2} \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
$ = \ displaystyle \ sum \ limit_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limit_ {j = 0} ^ {j - 1} p \ left (x_j, y_k \ right) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
Bây giờ, xem xét cả các điều kiện không chắc chắn (trước và sau khi áp dụng đầu vào), chúng ta biết rằng sự khác biệt, tức là $ H (x) - H (x \ mid y) $ phải đại diện cho sự không chắc chắn về đầu vào kênh được giải quyết bằng cách quan sát đầu ra kênh.
Điều này được gọi là Mutual Information của kênh.
Ký hiệu Thông tin tương hỗ là $ I (x; y) $, chúng ta có thể viết toàn bộ điều trong một phương trình, như sau
$$ I (x; y) = H (x) - H (x \ mid y) $$
Do đó, đây là đại diện công bằng của Thông tin tương hỗ.
Thuộc tính của thông tin lẫn nhau
Đây là những thuộc tính của thông tin Tương hỗ.
Thông tin lẫn nhau của một kênh là đối xứng.
$$ I (x; y) = I (y; x) $$
Thông tin lẫn nhau là không tiêu cực.
$$ I (x; y) \ geq 0 $$
Thông tin lẫn nhau có thể được thể hiện dưới dạng entropy của đầu ra kênh.
$$ I (x; y) = H (y) - H (y \ mid x) $$
Trong đó $ H (y \ mid x) $ là một entropy có điều kiện
Thông tin lẫn nhau của một kênh liên quan đến entropy chung của đầu vào kênh và đầu ra của kênh.
$$ I (x; y) = H (x) + H (y) - H (x, y) $$
Trong đó entropy chung $ H (x, y) $ được xác định bởi
$$ H (x, y) = \ displaystyle \ sum \ limit_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limit_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$
Dung lượng kênh
Chúng tôi đã thảo luận về thông tin lẫn nhau cho đến nay. Thông tin tương hỗ trung bình tối đa, trong một thời điểm của khoảng thời gian báo hiệu, khi được truyền bởi một kênh không có bộ nhớ rời rạc, xác suất của tốc độ truyền dữ liệu đáng tin cậy tối đa, có thể được hiểu làchannel capacity.
Nó được ký hiệu là C và được đo bằng bits per channel sử dụng.
Nguồn không bộ nhớ rời rạc
Nguồn mà từ đó dữ liệu được phát ra trong các khoảng thời gian liên tiếp, độc lập với các giá trị trước đó, có thể được gọi là discrete memoryless source.
Nguồn này là rời rạc vì nó không được xem xét trong một khoảng thời gian liên tục mà ở những khoảng thời gian rời rạc. Nguồn này không có bộ nhớ vì nó được làm mới tại mỗi thời điểm mà không cần xem xét các giá trị trước đó.