Dirichlet 분포에 대해 유익하지 않은 매개 변수 선택은 무엇입니까?
Dirichlet 분포는 다항 분포에 대한 켤레 사전입니다. 가중치를 샘플링하는 것보다 유익하지 않은 사전을 부과하고 싶습니다.$\pi$ 무승부 $x=(x_1,…,x_N)$ 지원되는 다항 분포에서 $d=(d_1,…,d_K)$ (가능한 모든 값은 $x_i$ 걸릴 수 있음) 및 샘플링 가중치 $\pi=(\pi_1,…,\pi_K)$.
나는 인상을 받았다. $Dir(\alpha)$ 와 $\alpha_i=1$올바른 선택입니다. 그러나 나는 그것을 읽었습니다 (예 : this 참조 )$Dir(\alpha)$ 와 $\alpha_i=0$ 부적절한 정보가없는 배포를 생성합니다.
질문:
- 왜 $Dir(\alpha)$ 와 $\alpha_i=0$정보가 없습니까? 하지 않습니다$\alpha\to 0$ 단일 데이터에는 더 높은 샘플링 가중치를 적용하고 다른 모든 데이터에는 0을 부과합니까?
- 균등 분포가 안됨 $Dir(\alpha)$ 와 $\alpha_i=1$ 대신 이전에 대한 정보가 아닌 선택입니까?
답변
여기서 주된 문제는 "비 정보"가 예술 용어의 일부이며 다양한 방식으로 공식화 될 수 있다는 것입니다 ( 주제에 대한 흥미로운 토론 은 여기 를 참조 하십시오 ). 엄격한 의미에서 모든 사전 분포는 여러 특정 확률 적 의미를 갖는 특정 분포이기 때문에 "정보가없는 사전"과 같은 것은 없습니다. 우리가 가지고있는 것은 비 주관적 사전 (즉, 데이터 값을 고려하지 않고 우도 함수의 일반적인 형태에만 의존하는 사전)을 형성 할 수있는 몇 가지 다른 방법론입니다.
비 주관적 사전을 공식화하는 데에는 몇 가지 경쟁 이론이 있습니다. 여기에는 "참조 사전"이론, Jeffries 사전 및 기타 다양한 이론이 포함됩니다. 이러한 이론은 서로 매우 가까운 이전 형식으로 이어지지 만 약간 다르므로 어느 것이 가장 좋은지에 대한 많은 문헌이 있습니다. 이에 대해 더 자세히 알고 싶다면이 분야의 저명한 베이지안 통계학자인 호세 베르나르도의 작품을 읽어 보시기 바랍니다. (제가 추천하고 싶은 또 다른 것은 Peter Walley의 "불확실한 확률"이론에 대해 읽는 것입니다. 제 생각에이 방법은 다른 이론을 통해 특정 사전을 선택하는 것보다 진정으로 객관적이고 "비 정보"라는 주장이 더 좋습니다.)
귀하의 구체적인 질문과 관련하여 예, $\text{Dirichlet}(\mathbf{0})$배포는 부적절한 배포이므로 사전으로 사용하면 부적절한 사전입니다. 이 이전이 플랫 이전보다 더 나은지 나쁜지에 관해서는 부적절한 사전에 대한 문헌을 읽고 각 방법의 장점을 확인하기 위해 여러분에게 맡길 것입니다. 합리적인 양의 데이터가있는 한 그것들은 크게 다르지 않다는 점에 주목할 가치가 있습니다 .--- 데이터는 관찰 된 각 데이터 포인트에 대한 매개 변수 값에서 1이 증가함에 따라 사후에 나타납니다. 베이지안 분석에는 사후 신념이 다른 사전과도 수렴한다는 것을 확립하는 유용한 일관성 정리가 많이 있으며, 이와 같은 사전의 경우 약간만 다른이 수렴은 매우 빠릅니다.
나는 rstan이 기본 Dirichlet 사전 선택 으로 αi = 1을 사용한다는 것을 알고 있기 때문에 귀하에게 동의하는 경향이 있습니다. 기본 선택은 약한 정보를 제공 하기위한 것 입니다. 그러나 나는 Dir (0)이 유효한 선택 인 이유를 논의하는 이 문서를 발견 했습니다 . 좋은 요약을 제공하기에 충분히 이해하지 못하지만 Dir (0)이 정규성을 유지하는 변환에서 정보가 아닌 유일한 선택 인 것처럼 보입니다.