Lý thuyết thông tin
Thông tin là nguồn của một hệ thống truyền thông, cho dù nó là tương tự hay kỹ thuật số. Information theory là một cách tiếp cận toán học để nghiên cứu mã hóa thông tin cùng với việc định lượng, lưu trữ và truyền đạt thông tin.
Điều kiện xuất hiện sự kiện
Nếu chúng ta xem xét một sự kiện, có ba điều kiện xảy ra.
Nếu sự kiện chưa xảy ra, có một điều kiện là uncertainty.
Nếu sự kiện vừa xảy ra, có một điều kiện là surprise.
Nếu sự kiện đã xảy ra, một thời gian trở lại, có một điều kiện là có một số information.
Do đó, ba điều này xảy ra vào những thời điểm khác nhau. Sự khác biệt trong các điều kiện này, giúp chúng ta có kiến thức về xác suất xuất hiện của các sự kiện.
Sự hỗn loạn
Khi chúng ta quan sát các khả năng xảy ra của một sự kiện, cho dù nó sẽ bất ngờ hay không chắc chắn đến mức nào, điều đó có nghĩa là chúng ta đang cố gắng có ý tưởng về nội dung trung bình của thông tin từ nguồn của sự kiện.
Entropy có thể được định nghĩa là thước đo hàm lượng thông tin trung bình trên mỗi ký hiệu nguồn. Claude Shannon, "cha đẻ của Lý thuyết Thông tin", đã đưa ra một công thức cho nó là
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Trong đó $ p_i $ là xác suất xuất hiện của số ký tự itừ một dòng ký tự nhất định và b là cơ sở của thuật toán được sử dụng. Do đó, điều này còn được gọi làShannon’s Entropy.
Mức độ không chắc chắn còn lại về đầu vào kênh sau khi quan sát đầu ra kênh, được gọi là Conditional Entropy. Nó được ký hiệu là $ H (x \ arrowvert y) $
Nguồn không bộ nhớ rời rạc
Nguồn mà từ đó dữ liệu được phát ra trong các khoảng thời gian liên tiếp, độc lập với các giá trị trước đó, có thể được gọi là discrete memoryless source.
Nguồn này là rời rạc vì nó không được xem xét trong một khoảng thời gian liên tục mà ở những khoảng thời gian rời rạc. Nguồn này không có bộ nhớ vì nó luôn mới trong mỗi khoảnh khắc thời gian mà không cần xem xét các giá trị trước đó.
Mã nguồn
Theo định nghĩa, “Với một nguồn entropy $ H (\ delta) $ rời rạc không có bộ nhớ, độ dài từ mã trung bình $ \ bar {L} $ cho bất kỳ mã hóa nguồn nào được giới hạn là $ \ bar {L} \ geq H (\ delta) $ ”.
Nói một cách đơn giản hơn, từ mã (Ví dụ: mã Morse cho từ QUEUE là -.- ..-. ..-.) Luôn lớn hơn hoặc bằng mã nguồn (ví dụ: QUEUE). Có nghĩa là, các ký hiệu trong từ mã lớn hơn hoặc bằng các bảng chữ cái trong mã nguồn.
Mã hóa kênh
Mã hóa kênh trong một hệ thống truyền thông, giới thiệu dự phòng với một điều khiển, để cải thiện độ tin cậy của hệ thống. Mã hóa nguồn làm giảm dự phòng để nâng cao hiệu quả của hệ thống.
Mã hóa kênh bao gồm hai phần hành động.
Mapping chuỗi dữ liệu đến thành chuỗi đầu vào kênh.
Inverse mapping chuỗi đầu ra kênh thành chuỗi dữ liệu đầu ra.
Mục tiêu cuối cùng là ảnh hưởng tổng thể của nhiễu kênh phải được giảm thiểu.
Việc ánh xạ được thực hiện bởi máy phát, với sự trợ giúp của bộ mã hóa, trong khi ánh xạ nghịch đảo được thực hiện tại máy thu bởi bộ giải mã.