Postérieur uniforme sur espace borné vs espace illimité
Selon cette réponse :
Il n'y a pas de problème avec un postérieur plat sur un espace borné, comme ici. Il suffit de commencer avec un a priori plus étalé qu'un plat. Ce que vous ne pouvez pas avoir, c'est un postérieur plat sur un espace illimité, car ce n'est pas une bonne distribution.
Je me demandais si quelqu'un pouvait expliquer (si et) pourquoi un plat postérieur sur un espace illimité n'est pas acceptable et en quoi il diffère avec l'espace délimité. Un exemple pour ce dernier est une distribution de dirichlet$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ où $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.
Réponses
Il n'est pas possible d'avoir une distribution de probabilité plate (uniforme) sur un espace illimité, donc en particulier il n'est pas possible d'avoir une distribution postérieure plate.
Si vous aviez une densité de probabilité uniforme sur toute la ligne réelle, vous auriez besoin d'une fonction $f(x)$qui s'intégrait à 1 (pour être une densité de probabilité) mais était constant. Ce n'est pas possible: toute fonction constante s'intègre à 0 ou à l'infini.
De même, si vous aviez une distribution uniforme sur un ensemble infini d'entiers, vous auriez besoin de la fonction de masse de probabilité $p(n)$ être égal pour tous $n$et ajoutez à 1. Il ne peut pas; si$p(n)$ est égal pour tous $n$ il doit s'ajouter à zéro ou à l'infini.
Des problèmes analogues surviennent pour des espaces plus compliqués où il est significatif de parler d'une distribution «plate».
Sur un espace de dimension finie borné, il est possible d'avoir une fonction constante qui s'intègre à 1, et ainsi une distribution de probabilité peut être plate. La distribution Dirichlet, par exemple, est définie sur un$n$-triangle dimensionnel avec aire $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ donc toute fonction constante a une intégrale finie, et une fonction $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ intègre à 1. La distribution de probabilité pour le New Zealand Lotto est sur l'ensemble des séquences de six nombres avec des valeurs de 1 à 40, donc il n'y en a qu'une infinité, et vous pouvez mettre une probabilité égale sur chacune ($p(x)=1/3838380$) et ajoutez-le à 1.
Donc, étant donné cela, la vraie question est de savoir dans quelle mesure les distributions a priori plates ont du sens. Il s'avère que vous pouvez souvent mettre une fonction constante dans la règle de Bayes à la place de la densité antérieure et obtenir une véritable distribution comme postérieure. Il est donc logique de penser que ce postérieur appartient à un «a priori plat» même s'il n'y a rien de tel. Aussi, le postérieur que vous obtenez pour un «a priori plat», quand il y en a un, est souvent le même que la limite des postérieurs que vous obtiendriez pour un a priori authentique de plus en plus étalé [je ne sais pas si c'est toujours vrai ou juste souvent vrai]. Donc, par exemple, si vous avez$X_m\sim N(\mu,1)$ données et un $\mu\sim N(0,\omega^2)$ avant, le postérieur est normal avec moyenne $$\frac{n\bar X_n}{n+\omega^{-2}}$$ et variance $1/(n+\omega^{-2})$. Si vous laissez$\omega$ augmenter, le prieur est de plus en plus étalé et le postérieur se rapproche de plus en plus $N(\bar X, 1/n)$, qui est également ce que vous obtiendriez avec un «avant plat».
Parfois, cependant, l'utilisation d'un «a priori plat» ne donne pas une véritable distribution de probabilité pour le postérieur, auquel cas cela n'a pas vraiment de sens.
À proprement parler, la question est imprécise en ce qu'elle ne précise pas la mesure de référence. Si la mesure de référence est$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ où $\lambda$ est la mesure de Lebesgue, un postérieur avec une densité plate est valide.
En supposant cependant que l'utilisation d'un «a priori plat» signifie avoir une densité constante par rapport à la mesure de Lebesgue, la réponse de Thomas Lumley explique clairement pourquoi l'inférence bayésienne est impossible avec un tel «postérieur». Il ne s'agit pas d'une densité de probabilité et, par conséquent, le postérieur n'est tout simplement pas défini. Il n'y a aucun moyen de calculer des espérances postérieures ou même des probabilités postérieures depuis la masse postérieure de tout l'espace à l'infini. Tout espace de paramètres avec un volume infini ne peut pas être déduit sous un postérieur comme celui-ci. Plus généralement, toute intégration postérieure à l'infini n'est pas acceptable pour l'inférence bayésienne pour la même raison qu'elle ne peut pas être transformée en densité de probabilité.
En tant que marginalia , et comme discuté dans une entrée validée X antérieure , l'entropie maximale a priori$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ est défini en termes de mesure dominante $\text{d}\lambda$. Il n'y a pas de mesure absolue ou unique de l'entropie dans les espaces continus.