Wprowadzenie do łańcuchów Markowa

Łańcuch Markowa to proces stochastyczny, w którym prawdopodobieństwo przejścia ze stanu bieżącego do następnego zależy tylko od stanu bieżącego.

Rozważmy proces stochastyczny X_n , gdzie n = 0, 1, 2,….. może przyjmować skończoną liczbę możliwych wartości (tzw. , 2…k). W dowolnym momencie n , jeśli X_n = i , mówi się , że proces jest w stanie i . W następnym przypadku (n+1) proces może przejść ze stanu i do innego stanu j . Należy zauważyć, że proces może również pozostawać w stanie i w czasie (n+1) , w którym to przypadku mówimy, że nastąpiło przejście ze stanu i do stanu i .

Niech P_ij oznacza prawdopodobieństwo przejścia procesu ze stanu i do stanu j . P_ij nazywamy prawdopodobieństwem przejścia . Zakładamy, że gdy proces znajduje się w stanie i , to prawdopodobieństwo P_ij jest stałe, a jego wartość zależy tylko od aktualnego stanu i , a nie od żadnego stanu poprzedniego. Matematycznie oznacza to, co następuje.

P[X_(n+1) = j|X_n = ja, X_(n-1) = i_(n-1), … X_0 = i_0] = P[X_(n+1) = j|X_n = i]

gdzie i_(n-1), i_(n-2)….. i_0 to stany, w jakich znajduje się proces w chwilach (n-1) , (n-2) , …… 0.

Rysunek 1 powyżej przedstawia prosty 3-stanowy łańcuch Markowa (oznaczony stanami 1, 2 i 3). Niech M oznacza macierz przejść łańcucha Markowa. Na przykład w tej macierzy przejść P₁₁ = 0,5, co oznacza, że ​​prawdopodobieństwo pozostania w stanie 1 w następnym kroku czasowym (lub przejścia ze stanu 1 do stanu 1) wynosi 0,5. Podobnie P₂₁ = 0,1 , co oznacza, że ​​prawdopodobieństwo przejścia ze stanu 2 do stanu 1 w następnym kroku czasowym wynosi 0,1. Zauważ, że prawdopodobieństwa w każdym wierszu sumują się do 1, ponieważ proces musi przejść z jednego stanu do innego stanu, w tym siebie.

Modelowanie pogody w mieście

Rysunek 1 można wykorzystać do modelowania pogody w mieście (słonecznie, pochmurno lub deszczowo), gdzie słonecznie, pochmurno i deszczowo odpowiadają odpowiednio stanom 1, 2 i 3. Prawdopodobieństwa przejścia obejmują prawdopodobieństwo przejścia z jednego stanu (np. zachmurzenie) do innego stanu (np. deszcz). Należy zauważyć, że modelując pogodę w ten sposób, zakładamy, że pogoda następnego dnia zależy tylko od dnia bieżącego.

Załóżmy, że dzisiaj (tj. w poniedziałek) chcesz użyć Modelu Markowa do określenia pogody w czwartek. Wiesz, że dzisiaj jest pochmurno. Korzystamy z tej wiedzy i kodujemy dzisiejszą pogodę w postaci wektora I = [0, 1, 0] . Następnie mnożymy I przez M (tj. I*M ), aby znaleźć rozkład pogody na jutro (tj. we wtorek), biorąc pod uwagę, że dzisiaj jest pochmurno. Mnożąc przez trzykrotnie macierz przejścia M ( I*M³ ), będziemy w stanie uzyskać rozkład przewidywanej pogody w czwartek.

Dystrybucja w stanie ustalonym

Na podstawie powyższej dyskusji nasuwa się naturalne pytanie — co jeśli chcemy określić rozkład prawdopodobieństwa pogody z 1 miesięcznym (30 dni) lub 1 rocznym (365 dni) wyprzedzeniem? Aby otrzymać te rozkłady, musimy najpierw otrzymać odpowiednio M³⁰ i M³⁶⁵ . Kiedy wykonujemy to mnożenie, obserwujemy, że wszystkie wiersze macierzy przejść M łańcucha Markowa mają takie same prawdopodobieństwa, konkretnie [0,294, 0,324, 0,382] . Oznacza to, że po dużej liczbie przejść prawdopodobieństwo znalezienia się w określonym stanie j jest niezależne od stanu początkowego I i jest stałe. Nazywa się to rozkładem stanu ustalonego .

W przypadku naszego modelu pogodowego wynik ten jest zgodny z naszą intuicją, ponieważ pogoda danego dnia rok później nie jest zależna od dzisiejszej pogody, a nasza ocena będzie zależała jedynie od granicznych prawdopodobieństw (tj. rozkładu stanu ustalonego).