Rantai Markov - teorema ergodik
Saya butuh bantuan dengan matriks transisi dari masalah berikut
Setiap malam, pemilik mobil mencucinya dengan probabilitas 0,6. Terlepas dari peristiwa itu, setiap malam hujan kotor mengguyur mobil dengan probabilitas 0,2. (pertanyaannya menggunakan teorema ergodik)
Dalam jangka panjang, pada pagi hari manakah mobil bersih?
negara bagian 1 mewakili "mobil bersih" dan negara bagian 2 mewakili "mobil kotor"
Saya tidak yakin apakah matriks transisi saya benar
Jawaban
Membatasi distribusi rantai Markov ergodik dengan banyak keadaan tak terhingga.
Hal pertama yang harus diperiksa adalah matriks ini $\mathbf{P}$ adalah matriks stokastik dengan jumlah baris $1,$ yang mana yang benar.
Karena matriks transisi memiliki semua elemen positif, matriks tersebut menjelaskan rantai Markov ergodik (aperiodik) dengan satu kelas status interkomunikasi. [Untuk memastikan ergodisitas, itu cukup untuk beberapa tenaga$\mathbf{P}^k$ dari $\mathbf{P}$untuk memiliki semua elemen positif; di sini terjadi itu$k = 1.$]
Jadi, rantai Anda memiliki distribusi yang tidak bergerak $\sigma = (\sigma_1,\sigma_2),$ seperti yang $\sigma\mathbf{P} = \sigma.$ Memecahkan dua persamaan dalam dua variabel yang tidak diketahui menunjukkan hal itu $\sigma_1 = .75, \sigma_2 = 0.25.$ Khususnya, $\sigma_1 = p_{12}/(p_{12}+p_{21}) = 0.6/0.8 = 0.75.$ [Lihat Catatan di bagian akhir untuk argumen intuitif.]
Juga, vektor $\sigma$ adalah distribusi rantai yang membatasi, sehingga mobil tetap bersih $75\%$ di pagi hari.
Temuan $\mathbf{P}^8$ menyarankan distribusi yang membatasi ini, karena kedua barisnya kira-kira $\sigma.$ [Perkalian matriks dalam R.]
P = matrix(c(.8,.2, .6,.4), byrow=T, nrow=2); P
P2 = P %*% P; P2
[,1] [,2]
[1,] 0.8 0.2
[2,] 0.6 0.4
P2 = P %*% P; P2
[,1] [,2]
[1,] 0.76 0.24
[2,] 0.72 0.28
P4 = P2 %*% P2; P4
[,1] [,2]
[1,] 0.7504 0.2496
[2,] 0.7488 0.2512
P8 = P4 %*% P4; P8
[,1] [,2]
[1,] 0.7500006 0.2499994
[2,] 0.7499981 0.2500019
Untuk rantai ergodik dengan lebih dari dua keadaan, mungkin lebih mudah menggunakan vektor eigen untuk mencari distribusi stasioner $\sigma.$Kami ingin vektor eigen kiri dan R menemukan vektor eigen kanan, jadi kami menggunakan transpos t(P)dari P. Vektor eigen dengan modulus terbesar [diberikan pertama] sebanding dengan$\sigma.$[Kami menggunakan as.numericuntuk menekan notasi bilangan kompleks yang berlebihan jika beberapa vektor eigen yang tidak digunakan bersifat kompleks.]
v = eigen(t(P))$vectors[,1]
sg = as.numeric(v/sum(v)); sg
[1] 0.75 0.25
Catatan: Berikut ini adalah pandangan intuitif dari kemungkinan (proporsi waktu) mobil bersih: Misalkan mobil mulai kotor. Kemudian dengan argumen distribusi geometris itu akan menunggu rata-rata $ 1 / 0,6 = 10/6 $ hari sampai dicuci. Maka itu akan menunggu rata-rata $ 1 / .2 = 5 $ hari sebelum mandi hujan berlumpur. Jadi "panjang siklus" dari kotor kembali ke kotor memiliki rata-rata $ 10/6 + 5 $ hari. Dari periode waktu ini akan bersih $ 5 $ dari $ 10/6 + 10/2 = 40/6 $ hari. Jadi, rata-rata bersih $ \ frac {1 / p_ {21}} {1 / p_ {11} + 1 / p_ {21}} = \ frac {p_ {12}} {p_ {21} + p_ {12}} = \ frac {5} {40/6} = \ frac {3} {4} $ waktu. [Argumen semacam ini sering kali berhasil dengan baik dengan rantai 2-negara, tetapi tidak begitu baik untuk rantai dengan lebih banyak status, karena ada begitu banyak kemungkinan siklus yang berbeda di antara negara bagian untuk dipertimbangkan.]