Catena di Markov - teorema ergodico

Question

Ho bisogno di aiuto con la matrice di transizione del seguente problema

Ogni sera, il proprietario di un'auto la lava con probabilità 0,6. Indipendentemente da tale evento, ogni notte una pioggia sporca si riversa sull'auto con probabilità 0.2. (la domanda usa il teorema ergodico)

A lungo andare, in quale frazione delle mattine l'auto è pulita?

il mio stato 1 rappresenta "l'auto è pulita" e lo stato 2 rappresenta "l'auto è sporca"

Non sono sicuro che la mia matrice di transizione sia corretta

Answer 1

Distribuzione limitante di una catena di Markov ergodica con molti stati finitamente.

La prima cosa da verificare è che questa matrice $\mathbf{P}$ è una matrice stocastica con righe che si sommano a $1,$ che è vero.

Poiché la matrice di transizione ha tutti gli elementi positivi, descrive una catena di Markov (aperiodica) ergodica con una singola classe di stati intercomunicanti. [Per garantire l'ergodicità, è sufficiente una certa potenza$\mathbf{P}^k$ di $\mathbf{P}$avere tutti gli elementi positivi; ecco che succede$k = 1.$]

Quindi, la tua catena ha una distribuzione stazionaria $\sigma = (\sigma_1,\sigma_2),$ tale che $\sigma\mathbf{P} = \sigma.$ La risoluzione di due equazioni in due incognite lo dimostra $\sigma_1 = .75, \sigma_2 = 0.25.$ In particolare, $\sigma_1 = p_{12}/(p_{12}+p_{21}) = 0.6/0.8 = 0.75.$ [Vedere la nota alla fine per un argomento intuitivo.]

Inoltre, vettore $\sigma$ è la distribuzione limitante della catena, in modo che l'auto sia pulita $75\%$ delle mattine.

Trovare $\mathbf{P}^8$ suggerisce questa distribuzione limitante, perché entrambe le sue righe sono approssimativamente $\sigma.$ [Moltiplicazione di matrici in R.]

P = matrix(c(.8,.2,  .6,.4), byrow=T, nrow=2);  P
P2 = P %*% P; P2
      [,1] [,2]
[1,]  0.8  0.2
[2,]  0.6  0.4
P2 = P %*% P; P2
     [,1] [,2]
[1,] 0.76 0.24
[2,] 0.72 0.28
P4 = P2 %*% P2; P4
       [,1]   [,2]
[1,] 0.7504 0.2496
[2,] 0.7488 0.2512
P8 = P4 %*% P4; P8
          [,1]      [,2]
[1,] 0.7500006 0.2499994
[2,] 0.7499981 0.2500019

Per le catene ergodiche con più di due stati, può essere conveniente usare vettori autogeni per trovare la distribuzione stazionaria $\sigma.$Vogliamo un vettore autovettura sinistro e R trova vettori autovettura destra, quindi usiamo la trasposizione t(P)di P. L'autovettore con il modulo più grande [dato per primo] è proporzionale a$\sigma.$[Usiamo as.numericper sopprimere la notazione di numeri complessi superflua nel caso in cui alcuni vettori autovetture non utilizzati siano complessi.]

v = eigen(t(P))$vectors[,1]
sg = as.numeric(v/sum(v));  sg
[1] 0.75 0.25

Nota: ecco una visione intuitiva della probabilità (proporzione del tempo) che l'auto sia pulita: supponiamo che l'auto parta sporca. Quindi, con un argomento di distribuzione geometrica, attenderà in media $ 1 / 0.6 = 10/6 $ giorni fino a quando non viene lavato. Quindi aspetterà in media $ 1 / 0,2 = 5 $ giorni prima di ottenere un bagno di pioggia fangoso. Quindi una "durata del ciclo" da sporco a sporco con una media di $ 10/6 + 5 $ giorni. Di questo periodo di tempo sarà stato pulito $ 5 $ su $ 10/6 + 10/2 = 40/6 $ giorni. Quindi, in media, è pulito $ \ frac {1 / p_ {21}} {1 / p_ {11} + 1 / p_ {21}} = \ frac {p_ {12}} {p_ {21} + p_ {12}} = \ frac {5} {40/6} = \ frac {3} {4} $ del tempo. [Questo tipo di argomento spesso funziona bene con catene a 2 stati, ma non così bene per catene con più stati, perché ci sono così tanti diversi cicli possibili tra gli stati da considerare.]