Chaîne de Markov - théorème ergodique
J'ai besoin d'aide avec la matrice de transition du problème suivant
Chaque soir, le propriétaire d'une voiture la lave avec une probabilité de 0,6. Indépendamment de cet événement, chaque nuit une pluie sale se déverse sur la voiture avec une probabilité de 0,2. (la question utilise le théorème ergodique)
À long terme, à quelle fraction du matin la voiture est-elle propre?
mon état 1 représente "la voiture est propre" et l'état 2 représente "la voiture est sale"
Je ne sais pas si ma matrice de transition est correcte
Réponses
Limitation de la distribution d'une chaîne de Markov ergodique avec un nombre fini d'états.
La première chose à vérifier est que cette matrice $\mathbf{P}$ est une matrice stochastique avec des lignes additionnées à $1,$ ce qui est vrai.
Parce que la matrice de transition a tous les éléments positifs, elle décrit une chaîne de Markov ergodique (apériodique) avec une seule classe d'états intercommunicants. [Pour assurer l'ergodicité, il suffit d'un peu de puissance$\mathbf{P}^k$ de $\mathbf{P}$avoir tous les éléments positifs; ici il arrive que$k = 1.$]
Ainsi, votre chaîne a une distribution stationnaire $\sigma = (\sigma_1,\sigma_2),$ tel que $\sigma\mathbf{P} = \sigma.$ La résolution de deux équations à deux inconnues montre que $\sigma_1 = .75, \sigma_2 = 0.25.$ En particulier, $\sigma_1 = p_{12}/(p_{12}+p_{21}) = 0.6/0.8 = 0.75.$ [Voir la note à la fin pour un argument intuitif.]
Aussi, vecteur $\sigma$ est la distribution limite de la chaîne, de sorte que la voiture soit propre $75\%$ des matins.
Découverte $\mathbf{P}^8$ suggère cette distribution limite, car ses deux lignes sont approximativement $\sigma.$ [Multiplication matricielle dans R.]
P = matrix(c(.8,.2, .6,.4), byrow=T, nrow=2); P
P2 = P %*% P; P2
[,1] [,2]
[1,] 0.8 0.2
[2,] 0.6 0.4
P2 = P %*% P; P2
[,1] [,2]
[1,] 0.76 0.24
[2,] 0.72 0.28
P4 = P2 %*% P2; P4
[,1] [,2]
[1,] 0.7504 0.2496
[2,] 0.7488 0.2512
P8 = P4 %*% P4; P8
[,1] [,2]
[1,] 0.7500006 0.2499994
[2,] 0.7499981 0.2500019
Pour les chaînes ergodiques avec plus de deux états, il peut être pratique d'utiliser des vecteurs propres pour trouver la distribution stationnaire $\sigma.$Nous voulons un vecteur propre gauche et R trouve des vecteurs propres droits, nous utilisons donc la transposition t(P)de P. Le vecteur propre avec le plus grand module [donné en premier] est proportionnel à$\sigma.$[Nous utilisons as.numericpour supprimer la notation de nombre complexe superflue au cas où certains vecteurs propres inutilisés sont complexes.]
v = eigen(t(P))$vectors[,1]
sg = as.numeric(v/sum(v)); sg
[1] 0.75 0.25
Remarque: Voici une vue intuitive de la probabilité (proportion du temps) que la voiture soit propre: Supposons que la voiture démarre sale. Ensuite, par un argument de distribution géométrique, il attendra en moyenne 1 $ / 0,6 = 10/6 $ jours jusqu'à ce qu'il soit lavé. Ensuite, il attendra en moyenne 1 $ / .2 = 5 $ jours avant de recevoir un bain de pluie boueux. Donc une "longueur de cycle" de sale à sale avec 10 $ / 6 + 5 $ jours en moyenne. De cette période, il aura été propre 5 $ sur 10 $ / 6 + 10/2 = 40/6 $ jours. Donc, en moyenne, c'est propre $ \ frac {1 / p_ {21}} {1 / p_ {11} + 1 / p_ {21}} = \ frac {p_ {12}} {p_ {21} + p_ {12}} = \ frac {5} {40/6} = \ frac {3} {4} $ du temps. [Ce type d'argument fonctionne souvent bien avec les chaînes à 2 états, mais pas aussi bien pour les chaînes avec plus d'états, car il y a tellement de cycles possibles entre les états à prendre en compte.]