Sự lựa chọn không có thông tin của các tham số cho phân phối Dirichlet là gì?
Phân phối Dirichlet là một liên hợp trước cho phân phối đa thức. Tôi muốn áp đặt một trọng số không có thông tin trước khi lấy mẫu$\pi$ cho một trận hòa $x=(x_1,…,x_N)$ từ một phân phối đa thức có hỗ trợ $d=(d_1,…,d_K)$ (tất cả các giá trị có thể $x_i$ có thể lấy) và trọng lượng lấy mẫu $\pi=(\pi_1,…,\pi_K)$.
Tôi có ấn tượng rằng $Dir(\alpha)$ với $\alpha_i=1$là một sự lựa chọn đúng đắn. Nhưng tôi đã đọc nó (xem ví dụ như điều này )$Dir(\alpha)$ với $\alpha_i=0$ tạo ra một phân phối không cung cấp thông tin không phù hợp.
Câu hỏi:
- Tại sao $Dir(\alpha)$ với $\alpha_i=0$là không thông tin? Không$\alpha\to 0$ áp đặt trọng số lấy mẫu cao hơn cho một dữ liệu duy nhất và không cho tất cả các dữ liệu khác?
- Không nên phân phối đồng đều $Dir(\alpha)$ với $\alpha_i=1$ thay vào đó là sự lựa chọn không có thông tin?
Trả lời
Vấn đề chính ở đây là "không cung cấp thông tin" là một thuật ngữ của nghệ thuật, và nó có thể được hình thành theo nhiều cách khác nhau (xem ở đây để có một cuộc thảo luận thú vị về chủ đề này). Theo một nghĩa chặt chẽ nhất định, không có cái gọi là "trước đó không có thông tin" vì mọi phân phối trước là một phân phối cụ thể có một số hàm ý xác suất cụ thể. Những gì chúng tôi có là một số phương pháp luận khác nhau có thể hình thành các giá trị gốc không chủ quan (tức là, các nguyên tắc chỉ phụ thuộc vào dạng chung của hàm khả năng mà không cần xem xét các giá trị dữ liệu).
Có một số lý thuyết cạnh tranh về việc xây dựng các mồi không chủ quan. Điều này bao gồm lý thuyết về "mồi tham chiếu", lý thuyết Jeffries và nhiều lý thuyết khác. Những lý thuyết này dẫn đến các hình thức trước đây khá gần nhau, nhưng chúng có khác nhau một chút, và do đó, cũng có khá nhiều tài liệu tranh cãi về cách tốt nhất. Nếu bạn muốn tìm hiểu thêm về điều này, tôi đặc biệt khuyên bạn nên đọc một số tác phẩm của José Bernardo, người có lẽ là nhà thống kê Bayes ưu việt trong lĩnh vực này. (Một điều khác mà tôi khuyên bạn nên đọc là đọc về lý thuyết "xác suất không chính xác" của Peter Walley; theo quan điểm của tôi, phương pháp này có một tuyên bố tốt hơn là thực sự khách quan và "không có thông tin" hơn là chọn một lý thuyết cụ thể trước đó thông qua các lý thuyết khác.)
Đối với các câu hỏi cụ thể của bạn, có, $\text{Dirichlet}(\mathbf{0})$phân phối là một phân phối không đúng, vì vậy nếu bạn sử dụng nó như là một trước đó thì nó là một trước đó không đúng. Về việc liệu phương pháp trước tốt hơn hay xấu hơn phương pháp trước, tôi sẽ để bạn đọc tài liệu về các phương pháp sơ đẳng không phù hợp và xem ưu điểm của từng phương pháp. Cần lưu ý rằng chúng không chênh lệch nhiều miễn là bạn có một lượng dữ liệu hợp lý --- dữ liệu biểu hiện ở phần sau là sự gia tăng một giá trị tham số cho mỗi điểm dữ liệu quan sát. Phân tích Bayes có một số định lý nhất quán hữu ích thiết lập rằng các niềm tin hậu phương hội tụ ngay cả với các sơ đồ khác nhau, và đối với các sơ đồ như thế này, chỉ khác một chút, sự hội tụ này diễn ra khá nhanh.
Tôi có khuynh hướng đồng ý với bạn, bởi vì tôi biết rstan sử dụng αi = 1 làm lựa chọn trước Dirichlet mặc định . Các lựa chọn mặc định của họ nhằm mục đích cung cấp thông tin yếu . Nhưng tôi thấy bài báo này thảo luận tại sao Dir (0) là một lựa chọn hợp lệ. Tôi không hiểu rõ về nó để đưa ra một bản tóm tắt hay, nhưng có vẻ như Dir (0) là lựa chọn duy nhất không mang tính định hình dưới các phép biến đổi bảo toàn tính chuẩn.