Giới thiệu về Xích Markov

Chuỗi Markov là một quá trình ngẫu nhiên trong đó xác suất chuyển từ trạng thái hiện tại sang trạng thái tiếp theo chỉ phụ thuộc vào trạng thái hiện tại.

Chúng ta hãy xem xét một quá trình ngẫu nhiên X_n , trong đó n = 0, 1, 2,….. có thể nhận một số hữu hạn các giá trị có thể (được gọi là trạng thái), thường được biểu thị bằng một tập hợp các số nguyên không âm (tức là 0, 1 , 2…k). Tại mọi thời điểm n , nếu X_n = i , tiến trình được gọi là ở trạng thái i . Trong trường hợp thời gian tiếp theo (n+1) , quá trình có thể chuyển từ trạng thái i sang trạng thái khác j . Lưu ý rằng quá trình cũng có thể tiếp tục duy trì ở trạng thái i tại thời điểm (n+1) , trong trường hợp đó, chúng tôi nói rằng quá trình chuyển đổi đã xảy ra từ trạng thái i sang trạng thái i .

Đặt P_ij biểu thị xác suất quá trình chuyển từ trạng thái i sang trạng thái j . P_ij được gọi là xác suất chuyển đổi . Chúng ta giả định rằng khi quá trình ở trạng thái i , xác suất P_ij này là cố định và giá trị của nó chỉ phụ thuộc vào trạng thái hiện tại i chứ không phụ thuộc vào bất kỳ trạng thái nào trước đó. Về mặt toán học, điều này có nghĩa như sau.

P[X_(n+1) = j|X_n = i, X_(n-1) = i_(n-1), … X_0 = i_0] = P[X_(n+1) = j|X_n = i]

trong đó i_(n-1), i_(n-2)….. i_0 là các trạng thái của tiến trình tại các thời điểm (n-1) , (n-2) , …… 0.

Hình 1 ở trên biểu thị Chuỗi Markov 3 trạng thái đơn giản (được biểu thị bằng các trạng thái 1, 2 và 3). Gọi M là ma trận chuyển tiếp của chuỗi Markov. Ví dụ, trong ma trận chuyển đổi này, P₁₁ = 0,5, có nghĩa là xác suất ở lại trạng thái 1 trong bước thời gian tiếp theo (hoặc chuyển từ trạng thái 1 sang trạng thái 1) là 0,5. Tương tự, P₂₁ = 0,1 , có nghĩa là xác suất chuyển từ trạng thái 2 sang trạng thái 1 trong bước thời gian tiếp theo là 0,1. Lưu ý rằng xác suất trong mỗi hàng cộng lại bằng 1 vì quá trình phải chuyển từ trạng thái này sang trạng thái khác bao gồm cả chính nó.

Lập mô hình thời tiết của một thành phố

Hình 1 có thể được sử dụng để mô hình hóa thời tiết trong một thành phố (Nắng, Nhiều mây hoặc Mưa) trong đó Nắng, Nhiều mây và Mưa tương ứng với các trạng thái 1, 2 và 3 tương ứng. Xác suất chuyển đổi nắm bắt xác suất chuyển đổi từ một trạng thái (ví dụ: Nhiều mây) sang trạng thái khác (ví dụ: Mưa). Lưu ý rằng bằng cách lập mô hình thời tiết theo cách này, chúng tôi giả định rằng thời tiết của ngày hôm sau chỉ phụ thuộc vào ngày hiện tại.

Giả sử rằng hôm nay (tức là Thứ Hai), bạn muốn sử dụng Mô hình Markov để xác định thời tiết vào Thứ Năm. Bạn biết rằng thời tiết hôm nay nhiều mây. Chúng tôi sử dụng kiến ​​thức này và mã hóa thời tiết ngày nay dưới dạng véc tơ I = [0, 1, 0] . Sau đó, chúng tôi nhân I với M (tức là I*M ) để tìm sự phân bố của thời tiết vào ngày mai (tức là Thứ Ba) với điều kiện là hôm nay trời nhiều mây. Bằng cách nhân ba lần với ma trận chuyển tiếp M ( I*M³ ), chúng ta sẽ có thể có được phân phối thời tiết có thể sẽ như thế nào vào thứ Năm.

Phân phối trạng thái ổn định

Dựa trên cuộc thảo luận ở trên, một câu hỏi tự nhiên được đặt ra là - điều gì sẽ xảy ra nếu chúng ta muốn xác định phân phối xác suất của thời tiết trước 1 tháng (30 ngày) hoặc 1 năm (365 ngày)? Để có được các bản phân phối này, trước tiên chúng tôi sẽ có được M³⁰ và M³⁶⁵ tương ứng. Khi chúng tôi thực hiện phép nhân này, chúng tôi quan sát thấy rằng tất cả các hàng của ma trận chuyển tiếp M của Chuỗi Markov đều có cùng xác suất, cụ thể là [0,294, 0,324, 0,382] . Điều đó có nghĩa là sau một số lượng lớn các lần chuyển đổi, xác suất ở trạng thái cụ thể j không phụ thuộc vào trạng thái ban đầu I và là một hằng số. Điều này được gọi là phân phối trạng thái ổn định .

Đối với mô hình thời tiết của chúng tôi, kết quả này phù hợp với trực giác của chúng tôi vì thời tiết vào một ngày cụ thể 1 năm sau không phụ thuộc vào thời tiết ngày hôm nay và đánh giá của chúng tôi sẽ chỉ phụ thuộc vào xác suất giới hạn (nghĩa là phân phối trạng thái ổn định).