Teori Informasi
Informasi adalah sumber dari sistem komunikasi, baik itu analog maupun digital. Information theory adalah pendekatan matematis untuk mempelajari pengkodean informasi bersama dengan kuantifikasi, penyimpanan, dan komunikasi informasi.
Kondisi Terjadinya Peristiwa
Jika kita mempertimbangkan suatu peristiwa, ada tiga kondisi kejadian.
Jika peristiwa belum terjadi, ada syaratnya uncertainty.
Jika peristiwa baru saja terjadi, ada syaratnya surprise.
Jika peristiwa telah terjadi, waktu yang lalu, ada kondisi memiliki beberapa information.
Karenanya, ketiganya terjadi pada waktu yang berbeda. Perbedaan kondisi ini, membantu kami memiliki pengetahuan tentang kemungkinan terjadinya peristiwa.
Entropi
Ketika kita mengamati kemungkinan-kemungkinan terjadinya suatu peristiwa, entah seberapa mengejutkan atau tidak pasti, itu berarti kita sedang mencoba mendapatkan gambaran tentang rata-rata kandungan informasi dari sumber peristiwa tersebut.
Entropy dapat didefinisikan sebagai ukuran rata-rata konten informasi per simbol sumber. Claude Shannon, “Bapak Teori Informasi”, telah memberikan rumus untuk itu sebagai
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Dimana $ p_i $ adalah probabilitas terjadinya nomor karakter idari aliran karakter tertentu dan b adalah dasar dari algoritma yang digunakan. Oleh karena itu, ini juga disebut sebagaiShannon’s Entropy.
Jumlah ketidakpastian yang tersisa tentang masukan saluran setelah mengamati keluaran saluran, disebut sebagai Conditional Entropy. Ini dilambangkan dengan $ H (x \ arrowvert y) $
Sumber Tanpa Memori Diskrit
Sumber dari mana data dipancarkan pada interval yang berurutan, yang tidak bergantung pada nilai sebelumnya, dapat disebut sebagai discrete memoryless source.
Sumber ini terpisah karena tidak dianggap untuk interval waktu kontinu, tetapi pada interval waktu diskrit. Sumber ini tidak memiliki memori karena selalu segar setiap saat, tanpa mempertimbangkan nilai sebelumnya.
Pengkodean Sumber
Menurut definisi, “Diberikan sumber entropi tanpa memori diskrit $ H (\ delta) $, rata-rata panjang kata kode $ \ bar {L} $ untuk pengkodean sumber apa pun dibatasi sebagai $ \ bar {L} \ geq H (\ delta) $ ”.
Dengan kata sederhana, kode-kata (Misalnya: kode Morse untuk kata ANTRIAN adalah -.- ..-. ..-.) Selalu lebih besar dari atau sama dengan kode sumber (misalnya ANTRIAN). Artinya, simbol pada kata kode lebih besar dari atau sama dengan huruf pada kode sumber.
Pengkodean Saluran
Pengkodean saluran dalam sistem komunikasi, memperkenalkan redundansi dengan kontrol, untuk meningkatkan keandalan sistem. Pengkodean sumber mengurangi redundansi untuk meningkatkan efisiensi sistem.
Pengkodean saluran terdiri dari dua bagian tindakan.
Mapping urutan data yang masuk menjadi urutan input saluran.
Inverse mapping urutan keluaran saluran menjadi urutan data keluaran.
Sasaran akhir adalah efek keseluruhan dari kebisingan saluran harus diminimalkan.
Pemetaan dilakukan oleh transmitter, dengan bantuan encoder, sedangkan pemetaan terbalik dilakukan di receiver dengan decoder.