Введение в цепи Маркова

Цепь Маркова — это стохастический процесс, в котором вероятность перехода из текущего состояния в следующее состояние зависит только от текущего состояния.

Давайте рассмотрим случайный процесс X_n , где n = 0, 1, 2,… .. может принимать конечное число возможных значений (известных как состояния), обычно обозначаемых набором неотрицательных целых чисел (т. е. 0, 1 , 2…к). В любой момент времени n , если X_n = i , говорят, что процесс находится в состоянии i . В следующий момент времени (n+1) процесс может перейти из состояния i в другое состояние j . Обратите внимание, что процесс может продолжать оставаться в состоянии i и в момент времени (n+1) , и в этом случае мы говорим, что произошел переход из состояния i в состояние i .

Пусть P_ij обозначает вероятность перехода процесса из состояния i в состояние j . P_ij называется вероятностью перехода . Мы предполагаем, что когда процесс находится в состоянии i , эта вероятность P_ij фиксирована, и ее значение зависит только от текущего состояния i , а не от какого-либо предыдущего состояния. Математически это означает следующее.

P[X_(n+1) = j|X_n = i, X_(n-1) = i_(n-1), … X_0 = i_0] = P[X_(n+1) = j|X_n = i]

где i_(n-1), i_(n-2)….. i_0 — состояния, в которых процесс находится в моменты времени (n-1) , (n-2) , …… 0.

На рисунке 1 выше представлена ​​простая цепь Маркова с тремя состояниями (обозначается состояниями 1, 2 и 3). Пусть M обозначает переходную матрицу цепи Маркова. Например, в этой матрице перехода P₁₁ = 0,5, что означает, что вероятность остаться в состоянии 1 на следующем временном шаге (или перейти из состояния 1 в состояние 1) равна 0,5. Точно так же P₂₁ = 0,1, что означает, что вероятность перехода из состояния 2 в состояние 1 на следующем временном шаге равна 0,1. Обратите внимание, что вероятности в каждой строке в сумме равны 1, потому что процесс должен перейти из одного состояния в какое-то другое состояние, включая самого себя.

Моделирование погоды в городе

Рисунок 1 можно использовать для моделирования погоды в городе (солнечно, облачно или дождливо), где солнечно, облачно и дождливо соответствуют состояниям 1, 2 и 3 соответственно. Вероятности перехода фиксируют вероятность перехода из одного состояния (например, Облачно) в другое состояние (например, Дождь). Обратите внимание, что, моделируя погоду таким образом, мы предполагаем, что погода на следующий день зависит только от текущего дня.

Предположим, что сегодня (то есть в понедельник) вы хотите использовать марковскую модель для определения погоды в четверг. Вы знаете, что сегодня пасмурная погода. Воспользуемся этим знанием и закодируем сегодняшнюю погоду в виде вектора I = [0, 1, 0] . Затем мы умножаем I на M (т. е. I*M ), чтобы найти распределение погоды завтра (т. е. во вторник) при условии, что сегодня облачно. Умножив матрицу перехода M трижды ( I*M³ ), мы сможем получить распределение вероятной погоды в четверг.

Устойчивое распределение

Исходя из вышеизложенного, возникает естественный вопрос: а что, если мы хотим определить распределение вероятностей погоды на 1 месяц (30 дней) или 1 год (365 дней) вперед? Чтобы получить эти распределения, мы должны сначала получить M³⁰ и M³⁶⁵ соответственно. Когда мы выполняем это умножение, мы наблюдаем, что все строки переходной матрицы M цепи Маркова имеют одинаковые вероятности, а именно [0,294, 0,324, 0,382] . Это означает, что после большого числа переходов вероятность оказаться в том или ином состоянии j не зависит от начального состояния I и является константой. Это называется стационарным распределением .

Для нашей модели погоды этот результат соответствует нашей интуиции, потому что погода в конкретный день через 1 год не зависит от сегодняшней погоды, и наша оценка будет зависеть только от предельных вероятностей (т. е. от стационарного распределения).