Pengantar Rantai Markov

Rantai Markov adalah proses stokastik di mana probabilitas transisi dari keadaan saat ini ke keadaan berikutnya hanya bergantung pada keadaan saat ini.

Mari kita pertimbangkan proses stokastik X_n , di mana n = 0, 1, 2,….. dapat mengambil sejumlah nilai yang mungkin (dikenal sebagai status), biasanya dilambangkan dengan sekumpulan bilangan bulat non-negatif (yaitu, 0, 1 , 2…k). Setiap saat n , jika X_n = i , proses dikatakan dalam keadaan i . Dalam contoh waktu berikutnya (n+1) , proses dapat bertransisi dari status i ke status j lainnya . Perhatikan bahwa proses juga dapat terus berada dalam keadaan i pada waktu (n+1) , dalam hal ini kita katakan bahwa transisi terjadi dari keadaan i ke keadaan i .

Biarkan P_ij menunjukkan probabilitas proses transisi dari keadaan i ke keadaan j . P_ij disebut probabilitas transisi . Diasumsikan bahwa ketika proses dalam keadaan i , probabilitas P_ij ini tetap dan nilainya hanya bergantung pada keadaan saat ini i dan bukan pada keadaan sebelumnya. Secara matematis, ini berarti sebagai berikut.

P[X_(n+1) = j|X_n = i, X_(n-1) = i_(n-1), … X_0 = i_0] = P[X_(n+1) = j|X_n = i]

di mana i_(n-1), i_(n-2)….. i_0 adalah status proses pada saat (n-1) , (n-2) , …… 0.

Gambar 1 di atas mewakili Rantai Markov 3-status sederhana (dilambangkan dengan status 1, 2 dan 3). Biarkan M menunjukkan matriks transisi dari rantai Markov. Misalnya, dalam matriks transisi ini, P₁₁ = 0,5, yang berarti bahwa probabilitas untuk tetap berada di keadaan 1 pada langkah waktu berikutnya (atau beralih dari keadaan 1 ke keadaan 1) adalah 0,5. Demikian pula, P₂₁ = 0.1 , yang berarti probabilitas transisi dari keadaan 2 ke keadaan 1 pada langkah waktu berikutnya adalah 0,1. Perhatikan bahwa probabilitas di setiap baris berjumlah 1 karena proses harus bertransisi dari satu status ke status lain termasuk dirinya sendiri.

Pemodelan Cuaca Kota

Gambar 1 dapat digunakan untuk memodelkan cuaca di suatu kota (Cerah, Berawan, atau Hujan) di mana Cerah, Berawan, dan Hujan masing-masing sesuai dengan keadaan 1, 2, dan 3. Probabilitas transisi menangkap probabilitas transisi dari satu keadaan (misalnya, Berawan) ke keadaan lain (misalnya, Hujan). Perhatikan bahwa dengan memodelkan cuaca dengan cara ini, kami berasumsi bahwa cuaca di hari berikutnya hanya bergantung pada hari ini.

Mari kita asumsikan bahwa hari ini (yaitu Senin), Anda ingin menggunakan Model Markov untuk menentukan cuaca pada hari Kamis. Anda tahu bahwa cuaca hari ini mendung. Kami menggunakan pengetahuan ini dan menyandikan cuaca hari ini dalam bentuk vektor I = [0, 1, 0] . Kami kemudian mengalikan I dengan M (yaitu, I*M ) untuk menemukan distribusi cuaca besok (yaitu, Selasa) mengingat hari ini mendung. Dengan mengalikan dengan matriks transisi M tiga kali ( I*M³ ), kita akan dapat memperoleh distribusi kemungkinan cuaca pada hari Kamis.

Distribusi Keadaan Stabil

Berdasarkan pembahasan di atas, pertanyaan yang wajar muncul adalah — bagaimana jika kita ingin menentukan distribusi probabilitas cuaca 1 bulan (30 hari) atau 1 tahun (365 hari) sebelumnya? Untuk mendapatkan distribusi ini, pertama-tama kita harus mendapatkan M³⁰ dan M³⁶⁵ . Saat kita melakukan perkalian ini, kita mengamati bahwa semua baris matriks transisi M dari Rantai Markov memiliki probabilitas yang sama, khususnya [0.294, 0.324, 0.382] . Ini berarti bahwa setelah sejumlah besar transisi, kemungkinan berada dalam keadaan tertentu j tidak bergantung pada keadaan awal I dan merupakan konstanta. Hal ini disebut sebagai distribusi keadaan tunak .

Untuk model cuaca kami, hasil ini cocok dengan intuisi kami karena cuaca pada hari tertentu 1 tahun kemudian tidak bergantung pada cuaca hari ini dan penilaian kami hanya akan bergantung pada probabilitas yang terbatas (yaitu, distribusi keadaan tunak).