Probabilidade de atingir o estado i

Question

Acabei de começar a aprender a cadeia de Markov e não tenho ideia de como resolver esta questão

Uma formiga caminha ao longo das arestas de um cubo, partindo do vértice marcado com 0. Ao atingir um vértice, a formiga continua até as arestas incidentes a este vértice, com igual probabilidade para cada um.

Existem 2 aranhas em dois vértices marcados com α e β esperando pela formiga. Qual é a probabilidade de que a formiga alcance o vértice da aranha α? E o vértice β?

Answer 1

Esse problema pode ser simplificado a ponto de admitir uma solução fácil. Use isso como um guia ao trabalhar com os cálculos da Cadeia de Markov para verificar seu trabalho.

---

Deixei $p_s$ ser a chance de acabar em $\alpha$ ao começar no vértice $s.$ Precisamos encontrar $p_0.$ Já que inevitavelmente a lagarta ficará colada (prove!), $1-p_s$ é sua chance de acabar em $\beta.$

A partir das simetrias do cubo, observe que

$$p_0 = 1-p_3;\quad p_1=p_5=1-p_2=1-p_4.$$

Desde a $p_\alpha=1$ e $p_\beta=0,$isso nos deixa precisando encontrar apenas duas quantidades; dizer,$p_0$ e $p_1.$

Apenas três movimentos são possíveis de $0,$ cada um com probabilidade igual aos estados $1,3,$ e $5.$ Portanto (declare isso rigorosamente em termos de probabilidade condicional!)

$$p_0 = \left(p_1+p_3+p_5\right)/3 = \left(p_1+1-p_0+p_1\right)/3 = (1-p_0+2p_1)/3,$$

permitindo-nos expressar $p_1$ em termos de $p_0,$

$$p_1 = (4p_0-1)/2.$$

Do estado $1$ existem três movimentos equiprováveis ​​para os estados $0, 2,$ e $\alpha,$ donde

$$p_1 = (p_0+p_2+p_\alpha)/3 = (p_0 + 1-p_1 + 1)/3.$$

Em conjunto com a equação antecedente, isso dá a solução única

$$p_0 = 4/7.$$

A solução completa agora pode ser calculada diretamente a partir do anterior como

$$(p_0,p_1,p_2,p_3,p_4,p_5,p_\alpha,p_\beta) = (8, 9, 5, 6, 5, 9, 14, 0)/14.$$