Introducción a las Cadenas de Markov

La cadena de Markov es un proceso estocástico en el que la probabilidad de pasar del estado actual al siguiente solo depende del estado actual.

Consideremos un proceso estocástico X_n , donde n = 0, 1, 2,….. puede tomar un número finito de valores posibles (conocidos como estados), generalmente indicados por un conjunto de números enteros no negativos (es decir, 0, 1 , 2…k). En cualquier momento n , si X_n = i , se dice que el proceso está en el estado i . En la próxima instancia de tiempo (n+1) , el proceso puede pasar del estado i a otro estado j . Tenga en cuenta que el proceso también puede continuar permaneciendo en el estado i en el tiempo (n+1) , en cuyo caso decimos que la transición ocurrió del estado i al estado i .

Sea P_ij la probabilidad de que el proceso pase del estado i al estado j . P_ij se llama la probabilidad de transición . Suponemos que cuando el proceso está en el estado i , esta probabilidad P_ij es fija y su valor solo depende del estado actual i y no de ningún estado anterior. Matemáticamente, esto significa lo siguiente.

P[X_(n+1) = j|X_n = i, X_(n-1) = i_(n-1), … X_0 = i_0] = P[X_(n+1) = j|X_n = i]

donde i_(n-1), i_(n-2)….. i_0 son los estados en los que se encuentra el proceso en los momentos (n-1) , (n-2) , …… 0.

La figura 1 anterior representa una cadena de Markov simple de 3 estados (indicada por los estados 1, 2 y 3). Sea M la matriz de transición de la cadena de Markov. Por ejemplo, en esta matriz de transición, P₁₁ = 0,5, lo que significa que la probabilidad de permanecer en el estado 1 en el siguiente paso de tiempo (o pasar del estado 1 al estado 1) es 0,5. De manera similar, P₂₁ = 0,1, lo que significa que la probabilidad de pasar del estado 2 al estado 1 en el siguiente paso de tiempo es 0,1. Tenga en cuenta que las probabilidades en cada fila suman 1 porque el proceso tiene que pasar de un estado a otro estado, incluido él mismo.

Modelado del clima de una ciudad

La Figura 1 podría usarse para modelar el clima en una ciudad (Soleado, Nublado o Lluvioso) donde Soleado, Nublado y Lluvioso corresponden a los estados 1, 2 y 3 respectivamente. Las probabilidades de transición capturan la probabilidad de pasar de un estado (p. ej., nublado) a otro estado (p. ej., lluvioso). Tenga en cuenta que al modelar el clima de esta manera, asumimos que el clima del día siguiente solo depende del día actual.

Supongamos que hoy (es decir, lunes) desea utilizar el modelo de Markov para determinar el clima el jueves. Sabes que el tiempo hoy está nublado. Usamos este conocimiento y codificamos el clima de hoy en forma de un vector I = [0, 1, 0] . Luego multiplicamos I con M (es decir, I*M ) para encontrar la distribución del clima mañana (es decir, martes) dado que hoy está nublado. Multiplicando con la matriz de transición M tres veces ( I*M³ ), podremos obtener la distribución de lo que es probable que sea el tiempo el jueves.

Distribución de estado estacionario

Con base en la discusión anterior, surge una pregunta natural: ¿qué sucede si queremos determinar la distribución de probabilidad del clima con 1 mes (30 días) o 1 año (365 días) de anticipación? Para obtener estas distribuciones, primero tendremos que obtener M³⁰ y M³⁶⁵ , respectivamente. Cuando realizamos esta multiplicación, observamos que todas las filas de la matriz de transición M de la Cadena de Markov tienen las mismas probabilidades, en concreto [0.294, 0.324, 0.382] . Significa que después de un gran número de transiciones la probabilidad de estar en un estado particular j es independiente del estado inicial I y es una constante. Esto se conoce como la distribución de estado estacionario .

Para nuestro modelo meteorológico, este resultado coincide con nuestra intuición porque el tiempo en un día particular 1 año después no depende del tiempo de hoy y nuestra evaluación solo dependerá de las probabilidades límite (es decir, la distribución de estado estable).