Uniforme posterior en el espacio limitado frente al espacio ilimitado
Según esta respuesta :
No hay problema con una parte posterior plana en un espacio delimitado, como aquí. Solo tienes que empezar con un anterior que esté más extendido que uno plano. Lo que no puede tener es una parte posterior plana en un espacio ilimitado, porque esa no es una distribución adecuada.
Me preguntaba si alguien puede explicar (si y) por qué la parte posterior plana en un espacio ilimitado no es aceptable y en qué se diferencia del espacio delimitado. Un ejemplo de este último es una distribución dirichlet$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ dónde $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.
Respuestas
No es posible tener una distribución de probabilidad plana (uniforme) en un espacio ilimitado, por lo que, en particular, no es posible tener una distribución posterior plana.
Si tuvieras una densidad de probabilidad uniforme en toda la línea real, necesitarías una función $f(x)$que se integró a 1 (para ser una densidad de probabilidad) pero fue constante. Eso no es posible: cualquier función constante se integra a 0 o infinito.
De manera similar, si tuvieras una distribución uniforme en un conjunto infinito de enteros, necesitarías la función de masa de probabilidad $p(n)$ ser igual para todos $n$y agregue a 1. No puede; Si$p(n)$ es igual para todos $n$ debe sumar cero o infinito.
Problemas análogos ocurren para espacios más complicados donde es significativo hablar de una distribución que es 'plana'.
En un espacio de dimensión finita acotado, es posible tener una función constante que se integre a 1, por lo que una distribución de probabilidad puede ser plana. La distribución de Dirichlet, por ejemplo, se define en un$n$-triángulo dimensional con área $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ entonces cualquier función constante tiene integral finita, y una función $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ se integra a 1. La distribución de probabilidad de New Zealand Lotto está sobre el conjunto de secuencias de seis números con valores del 1 al 40, por lo que solo hay un número finito de ellos, y puede asignar la misma probabilidad a cada uno ($p(x)=1/3838380$) y que sume 1.
Entonces, dado eso, la verdadera pregunta es qué sentido tienen las distribuciones previas planas . Resulta que a menudo se puede poner una función constante en la regla de Bayes en lugar de la densidad anterior y obtener una distribución genuina como posterior. Tiene sentido, entonces, pensar en ese posterior como perteneciente a un "prior plano" incluso si no existe tal cosa. Además, el posterior que obtienes por un 'previo plano', cuando hay uno, suele ser el mismo que el límite de los posteriores que obtendrías para los anteriores genuinos cada vez más extendidos [no sé si esto es siempre cierto o simplemente cierto a menudo]. Entonces, por ejemplo, si tiene$X_m\sim N(\mu,1)$ datos y un $\mu\sim N(0,\omega^2)$ anterior, la posterior es Normal con media $$\frac{n\bar X_n}{n+\omega^{-2}}$$ y varianza $1/(n+\omega^{-2})$. Si tu dejas$\omega$ aumentar, el anterior se extiende cada vez más y el posterior se acerca cada vez más a $N(\bar X, 1/n)$, que es también lo que obtendrías con un 'plano previo'.
A veces, sin embargo, el uso de un 'prior plano' no proporciona una distribución de probabilidad genuina para el posterior, en cuyo caso realmente no tiene sentido.
Estrictamente hablando, la pregunta es imprecisa porque no especifica la medida de referencia. Si la medida de referencia es$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ dónde $\lambda$ es la medida de Lebesgue, un posterior con una densidad plana es válido.
Sin embargo, asumiendo que usar un "plano previo" significa tener una densidad constante con respecto a la medida de Lebesgue, la respuesta de Thomas Lumley explica claramente por qué la inferencia bayesiana es imposible con un "posterior" de este tipo. Esta no es una densidad de probabilidad y, por lo tanto, el posterior simplemente no está definido. No hay forma de calcular expectativas posteriores o incluso probabilidades posteriores desde la masa posterior de todo el espacio en el infinito. Cualquier espacio de parámetros con un volumen infinito no puede inferirse bajo un posterior como este. De manera más general, cualquier integración posterior al infinito no es aceptable para la inferencia bayesiana por la misma razón que esto no puede convertirse en una densidad de probabilidad.
Como marginal , y como se discutió en una entrada validada por X anterior , la entropía máxima antes$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ se define en términos de una medida dominante $\text{d}\lambda$. No existe una medida absoluta o única de entropía en espacios continuos.