Phía sau đồng nhất trên không gian có giới hạn và không gian không bị giới hạn
Theo câu trả lời này :
Không có vấn đề gì với phần sau phẳng trên một không gian giới hạn, như ở đây. Bạn chỉ cần bắt đầu với một cái trước trải rộng hơn một cái bằng phẳng. Những gì bạn không thể có là một hình sau phẳng trên một không gian không bị giới hạn, bởi vì đó không phải là sự phân bố thích hợp.
Tôi đã tự hỏi liệu ai đó có thể giải thích (nếu và) tại sao hình sau phẳng trên một không gian không bị giới hạn lại không được chấp nhận và nó khác với không gian bị giới hạn như thế nào. Một ví dụ cho cái sau là phân phối dirichlet$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ Ở đâu $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.
Trả lời
Không thể có phân phối xác suất phẳng (đồng nhất) trên một không gian không bị giới hạn, do đó, đặc biệt là không thể có phân phối sau phẳng.
Nếu bạn có mật độ xác suất đồng đều trên toàn bộ dòng thực, bạn sẽ cần một hàm $f(x)$tích hợp thành 1 (là mật độ xác suất) nhưng không đổi. Điều đó là không thể: bất kỳ hàm hằng số nào cũng tích hợp đến 0 hoặc vô cùng.
Tương tự, nếu bạn có một phân phối đồng đều trên một tập hợp vô hạn các số nguyên, bạn cần hàm khối lượng xác suất $p(n)$ bình đẳng cho tất cả $n$và thêm vào 1. Nó không thể; nếu$p(n)$ là bình đẳng cho tất cả $n$ nó phải thêm vào 0 hoặc vô cùng.
Các vấn đề tương tự xảy ra đối với các không gian phức tạp hơn, nơi có ý nghĩa khi nói về phân phối là 'phẳng'.
Trên một không gian hữu hạn chiều bị chặn, nó là có thể có một hàm hằng số mà tích hợp 1, và do đó, một phân bố xác suất có thể bằng phẳng. Ví dụ, phân phối Dirichlet được xác định trên một$n$- tam giác có chiều với diện tích $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ vì vậy bất kỳ hàm hằng nào đều có tích phân hữu hạn và một hàm $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ tích phân thành 1. Phân phối xác suất cho New Zealand Lotto vượt quá tập hợp các chuỗi sáu số với các giá trị từ 1 đến 40, vì vậy chỉ có rất nhiều trong số chúng và bạn có thể đặt xác suất bằng nhau cho mỗi dãy số ($p(x)=1/3838380$) và cộng nó lên đến 1.
Vì vậy, với điều đó, câu hỏi thực sự là phân phối phẳng trước đó có ý nghĩa như thế nào . Nó chỉ ra rằng bạn thường có thể đặt một hàm không đổi vào Quy tắc Bayes thay cho mật độ trước và nhận được phân phối chính hãng như sau. Vì vậy, thật hợp lý khi nghĩ về hậu thế đó là thuộc về 'tiền căn phẳng' ngay cả khi không có điều đó. Ngoài ra, hậu quả bạn nhận được cho 'căn hộ trước', khi có một, thường giống với giới hạn của những điều hậu quả mà bạn nhận được để ngày càng trải rộng ra những mảnh ghép chính hãng [Tôi không biết liệu điều này có luôn luôn đúng hoặc chỉ thường đúng]. Vì vậy, ví dụ, nếu bạn có$X_m\sim N(\mu,1)$ dữ liệu và một $\mu\sim N(0,\omega^2)$ trước, sau là Bình thường với trung bình $$\frac{n\bar X_n}{n+\omega^{-2}}$$ và phương sai $1/(n+\omega^{-2})$. Nếu bạn cho phép$\omega$ tăng lên, cái trước ngày càng lan rộng ra và cái sau càng ngày càng gần $N(\bar X, 1/n)$, đó cũng là những gì bạn nhận được với một 'căn hộ trước đó'.
Tuy nhiên, đôi khi, việc sử dụng 'phần trước bằng phẳng' không cung cấp phân phối xác suất chính xác cho phần sau, trong trường hợp đó, nó không thực sự có ý nghĩa.
Nói một cách chính xác, câu hỏi không chính xác ở chỗ nó không chỉ rõ thước đo tham chiếu. Nếu thước đo tham chiếu là$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ Ở đâu $\lambda$ là thước đo Lebesgue, một hậu với mật độ phẳng là hợp lệ.
Tuy nhiên, giả sử sử dụng "phần trước bằng phẳng" có nghĩa là có mật độ không đổi so với phép đo Lebesgue, câu trả lời của Thomas Lumley giải thích rõ ràng tại sao suy luận Bayes là không thể với "phần sau" như vậy. Đây không phải là mật độ xác suất và do đó phần sau đơn giản là không được xác định. Không có cách nào để tính toán kỳ vọng phía sau hoặc thậm chí xác suất phía sau vì khối lượng phía sau của toàn bộ không gian là vô cùng. Bất kỳ không gian tham số nào có thể tích vô hạn không thể được suy ra dưới một hậu nghiệm như thế này. Nói chung hơn, bất kỳ tích phân sau đến vô cùng nào đều không được chấp nhận đối với suy luận Bayes vì cùng một lý do rằng điều này không thể được chuyển thành mật độ xác suất.
Là một cận biên , và như đã thảo luận trong mục nhập đã được xác thực X trước đó , entropy tối đa trước đó$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ được định nghĩa về một biện pháp thống trị $\text{d}\lambda$. Không có thước đo entropy tuyệt đối hoặc duy nhất trong không gian liên tục.