Markov Zincirlerine Giriş

Markov Zinciri, mevcut durumdan sonraki duruma geçiş olasılığının yalnızca mevcut duruma bağlı olduğu stokastik bir süreçtir.

n = 0 , 1, 2,…..'nin sınırlı sayıda olası değerleri (durumlar olarak bilinir) alabildiği, genellikle bir dizi negatif olmayan tamsayılarla (yani, 0, 1) gösterilen, X_n stokastik bir süreci ele alalım . , 2…k). Herhangi bir n anında , eğer X_n = i ise, sürecin i durumunda olduğu söylenir . Bir sonraki örnekte (n+1) , süreç i durumundan j durumuna geçebilir . Sürecin (n+1) zamanında da i durumunda kalmaya devam edebileceğine dikkat edin , bu durumda i durumundan i durumuna geçiş olduğunu söyleriz .

P_ij , sürecin i durumundan j durumuna geçiş olasılığını göstersin . P_ij, geçiş olasılığı olarak adlandırılır . Süreç i durumundayken , bu P_ij olasılığının sabit olduğunu ve değerinin önceki herhangi bir duruma değil, yalnızca mevcut i durumuna bağlı olduğunu varsayıyoruz. Matematiksel olarak, bu şu anlama gelir.

P[X_(n+1) = j|X_n = i, X_(n-1) = i_(n-1), … X_0 = i_0] = P[X_(n+1) = j|X_n = i]

burada i_(n-1), i_(n-2)….. i_0, sürecin (n-1) , (n-2) , …… 0 zamanlarında bulunduğu durumlardır .

Yukarıdaki Şekil 1, basit bir 3-durumlu Markov Zincirini temsil eder (durum 1, 2 ve 3 ile gösterilir). M, Markov zincirinin geçiş matrisini göstersin. Örneğin, bu geçiş matrisinde, P₁₁ = 0,5, yani bir sonraki zaman adımında 1 durumunda kalma (veya 1 durumundan 1 durumuna geçiş) olasılığı 0,5'tir. Benzer şekilde, P₂₁ = 0.1 , bu da bir sonraki zaman adımında 2. durumdan 1. duruma geçme olasılığının 0.1 olduğu anlamına gelir. Her satırdaki olasılıkların toplamının 1 olduğunu unutmayın çünkü süreç, kendisi de dahil olmak üzere bir durumdan başka bir duruma geçmek zorundadır.

Bir Şehrin Hava Durumunun Modellenmesi

Şekil 1, Güneşli, Bulutlu ve Yağmurlu'nun sırasıyla 1, 2 ve 3 durumlarına karşılık geldiği bir şehirdeki (Güneşli, Bulutlu veya Yağmurlu) hava durumunu modellemek için kullanılabilir. Geçiş olasılıkları, bir durumdan (örn. Bulutlu) başka bir duruma (örn. Yağmurlu) geçiş olasılığını yakalar. Hava durumunu bu şekilde modelleyerek, bir sonraki gün hava durumunun yalnızca içinde bulunulan güne bağlı olduğunu varsaydığımızı unutmayın.

Bugün (yani Pazartesi), Perşembe günü hava durumunu belirlemek için Markov Modelini kullanmak istediğinizi varsayalım. Biliyorsunuz bugün hava Bulutlu. Bu bilgiyi kullanırız ve bugünün hava durumunu bir vektör biçiminde kodlarız I = [0, 1, 0] . Daha sonra bugün hava Bulutlu olduğu için yarınki (yani Salı) hava dağılımını bulmak için I ile M'yi (yani I*M ) çarparızGeçiş matrisi M ile üç kez ( I*M³ ) çarparak, Perşembe günü havanın muhtemel dağılımını elde edebileceğiz.

Kararlı Durum Dağılımı

Yukarıdaki tartışmaya dayanarak, ortaya çıkan doğal bir soru şudur: Hava durumunun olasılık dağılımını 1 ay (30 gün) veya 1 yıl (365 gün) önceden belirlemek istiyorsak ne olur? Bu dağılımları elde etmek için önce sırasıyla M³⁰ ve M³⁶⁵ elde edeceğiz . Bu çarpmayı yaptığımızda, Markov Zincirinin M geçiş matrisinin tüm satırlarının aynı olasılıklara sahip olduğunu gözlemliyoruz, özellikle [0.294, 0.324, 0.382] . Bu, çok sayıda geçişten sonra belirli bir j durumunda olma olasılığının başlangıç ​​durumu I'den bağımsız olduğu ve bir sabit olduğu anlamına gelir. Buna kararlı durum dağılımı denir .

Hava modelimiz için bu sonuç sezgilerimizle örtüşüyor çünkü 1 yıl sonraki belirli bir günün hava durumu bugünün hava durumuna bağlı değil ve değerlendirmemiz yalnızca sınırlayıcı olasılıklara (yani, kararlı durum dağılımı) bağlı olacak.