경계 공간과 무한 공간의 균일 한 사후
이 답변 에 따르면 :
여기처럼 경계가있는 공간의 평평한 후방에는 문제가 없습니다. 평평한 것보다 더 많이 퍼져있는 사전으로 시작하면됩니다. 당신이 가질 수없는 것은 무한한 공간의 평평한 사후입니다. 왜냐하면 그것은 적절한 분포가 아니기 때문입니다.
나는 누군가가 제한되지 않은 공간의 평평한 후방이 허용되지 않는 이유와 경계 공간과 어떻게 다른지에 대해 설명 할 수 있는지 궁금합니다. 후자의 예는 디리클레 분포입니다.$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ 어디 $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.
답변
제한되지 않은 공간에서 평평한 (균일 한) 확률 분포를 가질 수 없으므로 특히 평평한 사후 분포를 가질 수 없습니다.
실제 라인 전체에 균일 한 확률 밀도가 있다면 함수가 필요합니다. $f(x)$1로 통합되었지만 (확률 밀도가되기 위해) 일정했습니다. 그것은 불가능합니다. 상수 함수는 0 또는 무한대로 통합됩니다.
마찬가지로 무한한 정수 세트에 균일 한 분포가있는 경우 확률 질량 함수가 필요합니다. $p(n)$ 모두에게 동등하다 $n$그리고 1에 추가하십시오. 만약$p(n)$ 모두에게 동등하다 $n$ 0 또는 무한대에 더해야합니다.
분포가 '평평'하다고 말하는 것이 의미있는 더 복잡한 공간에서도 유사한 문제가 발생합니다.
바운드 유한 차원 공간에, 인 것을 통합 한 (1)에 일정한 기능을 갖는 것이 가능하고, 확률 분포 있도록 평평 할 수있다. 예를 들어, Dirichlet 분포는$n$면적이있는 차원 삼각형 $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ 따라서 모든 상수 함수는 유한 적분을 가지며 함수는 $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ New Zealand Lotto의 확률 분포는 1에서 40까지의 값을 가진 6 개 숫자 시퀀스 집합에 걸쳐 있으므로 한정된 개수 만 있고 각 시퀀스에 동일한 확률을 넣을 수 있습니다 ($p(x)=1/3838380$)의 합이 1이되도록합니다.
따라서 실제 질문은 평평한 사전 분포 가 어떻게 의미 가 있는지 입니다. 종종 이전 밀도 대신 Bayes 'Rule에 상수 함수를 넣고 사후로 실제 분포를 얻을 수 있습니다. 따라서 그러한 것이 없더라도 사후를 '평평한 사전'에 속하는 것으로 생각하는 것이 합리적입니다. 또한 '평탄한 사전'에 대해 얻을 수있는 사후는 하나가있을 때 얻을 수있는 사후의 한계와 동일한 경우가 많습니다. 점점 더 진심으로 퍼져 나가는 사후의 한계와 동일합니다. [이게 항상 그런지 모르겠습니다. 사실 또는 종종 사실]. 예를 들어$X_m\sim N(\mu,1)$ 데이터 및 $\mu\sim N(0,\omega^2)$ 이전, 사후는 평균이있는 정상입니다. $$\frac{n\bar X_n}{n+\omega^{-2}}$$ 및 분산 $1/(n+\omega^{-2})$. 당신이 허락한다면$\omega$ 증가하면, 이전은 점점 더 퍼지고 후방은 점점 더 가까워집니다. $N(\bar X, 1/n)$, 이는 또한 '평평한 사전'으로 얻을 수있는 것입니다.
그러나 때때로 '평탄한 사전'을 사용하면 사후에 대한 실제 확률 분포가 제공되지 않으며,이 경우 실제로 의미가 없습니다.
엄밀히 말하면 기준 측정 값을 지정하지 않는다는 점에서 질문은 부정확합니다. 참조 측정이$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ 어디 $\lambda$ Lebesgue 측도이며 평평한 밀도를 가진 사후가 유효합니다.
그러나 "평탄한 사전"을 사용하는 것이 Lebesgue 측정 값에 대해 일정한 밀도를 갖는다는 것을 의미한다고 가정하면 Thomas Lumley의 대답은 왜 베이지안 추론이 그러한 "후방"에서 불가능한지 설명합니다. 이것은 확률 밀도가 아니므로 사후는 단순히 정의되지 않습니다. 전체 공간의 사후 질량이 무한대에 있기 때문에 사후 기대치 또는 사후 확률을 계산할 방법이 없습니다. 무한 볼륨을 가진 매개 변수 공간은 이와 같이 사후 아래에서 추론 할 수 없습니다. 더 일반적으로 무한대에 대한 사후 적분은 확률 밀도로 변환 될 수없는 것과 동일한 이유로 베이지안 추론에 허용되지 않습니다.
A와 난외 에서 언급 한 바와 같이 이전 X 검증 항목 최대 전에 엔트로피$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ 지배적 인 척도로 정의됩니다. $\text{d}\lambda$. 연속 공간에서는 절대적이거나 고유 한 엔트로피 측정이 없습니다.