Posterior uniforme no espaço limitado vs espaço ilimitado

Aug 16 2020

De acordo com esta resposta :

Não há problema com uma parte posterior plana em um espaço limitado, como aqui. Você apenas tem que começar com um prior que seja mais espalhado do que um plano. O que você não pode ter é uma parte posterior plana em um espaço ilimitado, porque essa não é uma distribuição adequada.

Eu queria saber se alguém pode explicar (se e) por que a parte posterior plana em um espaço ilimitado não é aceitável e como ela difere do espaço limitado. Um exemplo para o último é uma distribuição dirichlet$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ Onde $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.

Respostas

13 ThomasLumley Aug 16 2020 at 10:49

Não é possível ter uma distribuição de probabilidade plana (uniforme) em um espaço ilimitado, portanto, em particular, não é possível ter uma distribuição posterior plana.

Se você tivesse uma densidade de probabilidade uniforme em toda a linha real, você precisaria de uma função $f(x)$que se integrou a 1 (para ser uma densidade de probabilidade), mas era constante. Isso não é possível: qualquer função constante se integra a 0 ou infinito.

Da mesma forma, se você tivesse uma distribuição uniforme em um conjunto infinito de inteiros, você precisaria da função de massa de probabilidade $p(n)$ ser igual para todos $n$e adicione a 1. Não pode; E se$p(n)$ é igual para todos $n$ deve somar zero ou infinito.

Problemas análogos ocorrem para espaços mais complicados, onde é significativo falar sobre uma distribuição ser 'plana'.

Em um espaço de dimensão finita limitada, é possível ter uma função constante que se integra a 1 e, portanto, uma distribuição de probabilidade pode ser plana. A distribuição de Dirichlet, por exemplo, é definida em um$n$Triângulo dimensional com área $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ então qualquer função constante tem integral finita e uma função $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ integra a 1. A distribuição de probabilidade para a Loteria da Nova Zelândia é sobre o conjunto de sequências de seis números com valores de 1 a 40, portanto, há apenas um número finito deles e você pode colocar probabilidade igual em cada um ($p(x)=1/3838380$) e somam 1.

Assim, dado isso, a verdadeira questão é como as distribuições anteriores planas fazem sentido. Acontece que muitas vezes você pode colocar uma função constante na Regra de Bayes no lugar da densidade anterior e obter uma distribuição genuína como posterior. Faz sentido, então, pensar que esse posterior pertence a um "prior plano", mesmo que tal coisa não exista. Além disso, o posterior que você obtém para um 'prior plano', quando existe um, é frequentemente o mesmo que o limite dos posteriores que você obteria para anteriores genuínos cada vez mais espalhados [não sei se isso é sempre verdadeiro ou apenas frequentemente verdadeiro]. Então, por exemplo, se você tiver$X_m\sim N(\mu,1)$ dados e um $\mu\sim N(0,\omega^2)$ antes, o posterior é normal com média $$\frac{n\bar X_n}{n+\omega^{-2}}$$ e variância $1/(n+\omega^{-2})$. Se você deixar$\omega$ aumentar, o anterior se espalha cada vez mais e o posterior se aproxima cada vez mais $N(\bar X, 1/n)$, que também é o que você obteria com um 'prior claro'.

Às vezes, porém, usar um 'prior plano' não fornece uma distribuição de probabilidade genuína para o posterior, caso em que realmente não faz sentido.

8 Xi'an Aug 16 2020 at 12:40

A rigor, a questão é imprecisa na medida em que não especifica a medida de referência. Se a medida de referência for$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ Onde $\lambda$ é a medida de Lebesgue, um posterior com uma densidade plana é válido.

Assumindo, entretanto, que usar um "prior plano" significa ter uma densidade constante em relação à medida de Lebesgue, a resposta de Thomas Lumley explica claramente porque a inferência Bayesiana é impossível com tal "posterior". Esta não é uma densidade de probabilidade e, portanto, a posterior simplesmente não é definida. Não há como calcular expectativas posteriores ou mesmo probabilidades posteriores desde a massa posterior de todo o espaço no infinito. Qualquer espaço de parâmetro com um volume infinito não pode ser inferido sob um posterior como este. Mais geralmente, qualquer integração posterior ao infinito não é aceitável para a inferência bayesiana, pela mesma razão que isso não pode ser transformado em uma densidade de probabilidade.

Como marginália , e conforme discutido em uma entrada validada X anterior , a entropia máxima anterior$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ é definido em termos de uma medida dominante $\text{d}\lambda$. Não há medida absoluta ou única de entropia em espaços contínuos.