Introduction aux chaînes de Markov

La chaîne de Markov est un processus stochastique où la probabilité de passer de l'état actuel à l'état suivant ne dépend que de l'état actuel.

Considérons un processus stochastique X_n , où n = 0, 1, 2,….. peut prendre un nombre fini de valeurs possibles (appelées états), généralement désignées par un ensemble d'entiers non négatifs (ie, 0, 1 , 2…k). A tout instant n , si X_n = i , le processus est dit dans l'état i . Dans la prochaine instance de temps (n+1) , le processus peut passer de l'état i à un autre état j . Notez que le processus peut continuer à rester dans l'état i à l'instant (n+1) également, auquel cas nous disons que la transition s'est produite de l'état i à l'état i .

Soit P_ij la probabilité que le processus passe de l'état i à l'état j . P_ij est appelée la probabilité de transition . On suppose que lorsque le processus est dans l'état i , cette probabilité P_ij est fixe et sa valeur ne dépend que de l'état courant i et non d'un état antérieur. Mathématiquement, cela signifie ce qui suit.

P[X_(n+1) = j|X_n = je, X_(n-1) = i_(n-1), … X_0 = i_0] = P[X_(n+1) = j|X_n = je]

où i_(n-1), i_(n-2)….. i_0 sont les états dans lesquels se trouve le processus aux instants (n-1) , (n-2) , …… 0.

La figure 1 ci-dessus représente une chaîne de Markov simple à 3 états (désignée par les états 1, 2 et 3). Soit M la matrice de transition de la chaîne de Markov. Par exemple, dans cette matrice de transition, P₁₁ = 0,5, ce qui signifie que la probabilité de rester dans l'état 1 au pas de temps suivant (ou de passer de l'état 1 à l'état 1) est de 0,5. De même, P₂₁ = 0,1, ce qui signifie que la probabilité de passer de l'état 2 à l'état 1 au pas de temps suivant est de 0,1. Notez que les probabilités de chaque ligne totalisent 1 car le processus doit passer d'un état à un autre état, y compris lui-même.

Modélisation de la météo d'une ville

La figure 1 pourrait être utilisée pour modéliser le temps dans une ville (Ensoleillé, Nuageux ou Pluvieux) où Ensoleillé, Nuageux et Pluvieux correspondent respectivement aux états 1, 2 et 3. Les probabilités de transition capturent la probabilité de transition d'un état (par exemple, nuageux) à un autre état (par exemple, pluvieux). Notez qu'en modélisant la météo de cette manière, nous supposons que la météo du lendemain ne dépend que de la journée en cours.

Supposons qu'aujourd'hui (c'est-à-dire lundi), vous souhaitiez utiliser le modèle de Markov pour déterminer le temps qu'il fera jeudi. Vous savez que le temps aujourd'hui est nuageux. Nous utilisons ces connaissances et encodons la météo du jour sous la forme d'un vecteur I = [0, 1, 0] . Nous multiplions ensuite I par M (c'est-à-dire I*M ) pour trouver la distribution du temps demain (c'est-à-dire mardi) étant donné qu'il fait nuageux aujourd'hui. En multipliant par la matrice de transition M trois fois ( I*M³ ), nous pourrons obtenir la distribution de ce qu'il fera probablement jeudi.

Répartition à l'état d'équilibre

Sur la base de la discussion ci-dessus, une question naturelle qui se pose est - et si nous voulons déterminer la distribution de probabilité du temps 1 mois (30 jours) ou 1 an (365 jours) à l'avance ? Pour obtenir ces distributions, nous devrons d'abord obtenir respectivement M³⁰ et M³⁶⁵ . Lorsque nous effectuons cette multiplication, nous observons que toutes les lignes de la matrice de transition M de la chaîne de Markov ont les mêmes probabilités, plus précisément [0,294, 0,324, 0,382] . Cela signifie qu'après un grand nombre de transitions, la probabilité d'être dans un état particulier j est indépendante de l'état initial I et est une constante. C'est ce qu'on appelle la distribution en régime permanent .

Pour notre modèle météorologique, ce résultat correspond à notre intuition car la météo d'un jour particulier 1 an plus tard ne dépend pas de la météo d'aujourd'hui et notre évaluation ne dépendra que des probabilités limites (c'est-à-dire la distribution en régime permanent).