Cadena de Markov - teorema ergódico
Necesito ayuda con la matriz de transición del siguiente problema
Cada noche, el propietario de un automóvil lo lava con una probabilidad de 0,6. Independientemente de ese evento, todas las noches cae una lluvia sucia sobre el coche con una probabilidad de 0,2. (la pregunta usa el teorema ergódico)
A la larga, ¿en qué fracción de las mañanas está limpio el automóvil?
mi estado 1 representa "el coche está limpio" y el estado 2 representa "el coche está sucio"
No estoy seguro de si mi matriz de transición es correcta
Respuestas
Limitación de la distribución de una cadena de Markov ergódica con un número finito de estados.
Lo primero que hay que comprobar es que esta matriz $\mathbf{P}$ es una matriz estocástica con filas que suman $1,$ cual es verdad.
Debido a que la matriz de transición tiene todos los elementos positivos, describe una cadena de Markov ergódica (aperiódica) con una sola clase de estados intercomunicados. [Para asegurar la ergodicidad, es suficiente para algo de poder$\mathbf{P}^k$ de $\mathbf{P}$tener todos los elementos positivos; aquí sucede que$k = 1.$]
Por lo tanto, su cadena tiene una distribución estacionaria $\sigma = (\sigma_1,\sigma_2),$ tal que $\sigma\mathbf{P} = \sigma.$ Resolver dos ecuaciones con dos incógnitas muestra que $\sigma_1 = .75, \sigma_2 = 0.25.$ En particular, $\sigma_1 = p_{12}/(p_{12}+p_{21}) = 0.6/0.8 = 0.75.$ [Consulte la nota al final para obtener un argumento intuitivo].
Además, vector $\sigma$ es la distribución límite de la cadena, para que el coche esté limpio en $75\%$ de las mañanas.
Hallazgo $\mathbf{P}^8$ sugiere esta distribución limitante, porque sus dos filas son aproximadamente $\sigma.$ [Multiplicación de matrices en R.]
P = matrix(c(.8,.2, .6,.4), byrow=T, nrow=2); P
P2 = P %*% P; P2
[,1] [,2]
[1,] 0.8 0.2
[2,] 0.6 0.4
P2 = P %*% P; P2
[,1] [,2]
[1,] 0.76 0.24
[2,] 0.72 0.28
P4 = P2 %*% P2; P4
[,1] [,2]
[1,] 0.7504 0.2496
[2,] 0.7488 0.2512
P8 = P4 %*% P4; P8
[,1] [,2]
[1,] 0.7500006 0.2499994
[2,] 0.7499981 0.2500019
Para cadenas ergódicas con más de dos estados, puede ser conveniente usar vectores propios para encontrar la distribución estacionaria $\sigma.$Queremos un vector propio izquierdo y R encuentra vectores propios derechos, por lo que usamos la transpuesta t(P)de P. El vector propio con el módulo más grande [dado primero] es proporcional a$\sigma.$[Usamos as.numericpara suprimir la notación superflua de números complejos en caso de que algunos vectores propios no utilizados sean complejos.]
v = eigen(t(P))$vectors[,1]
sg = as.numeric(v/sum(v)); sg
[1] 0.75 0.25
Nota: Aquí hay una vista intuitiva de la probabilidad (proporción del tiempo) de que el automóvil esté limpio: Suponga que el automóvil comienza sucio. Luego, mediante un argumento de distribución geométrica, esperará en promedio $ 1 / 0.6 = 10/6 $ días hasta que se lave. Luego esperará un promedio de $ 1 / .2 = 5 $ días antes de recibir un baño de lluvia lodosa. Por lo tanto, una "duración del ciclo" desde la parte posterior sucia hasta la sucia tiene un promedio de $ 10/6 + 5 $ días. De este período de tiempo habrá sido limpio $ 5 $ de $ 10/6 + 10/2 = 40/6 $ días. Entonces, en promedio, es limpio $ \ frac {1 / p_ {21}} {1 / p_ {11} + 1 / p_ {21}} = \ frac {p_ {12}} {p_ {21} + p_ {12}} = \ frac {5} {40/6} = \ frac {3} {4} $ del tiempo. [Este tipo de argumento a menudo funciona bien con cadenas de 2 estados, pero no tan bien con cadenas con más estados, porque hay muchos ciclos posibles diferentes entre estados a considerar].