Uniform posterior auf begrenztem Raum gegen unbegrenzten Raum
Nach dieser Antwort :
Es gibt kein Problem mit einem flachen hinteren Teil auf einem begrenzten Raum, wie hier. Sie müssen nur mit einem Prior beginnen, der weiter verbreitet ist als ein flacher. Was Sie nicht haben können, ist ein flacher posterior auf einem unbegrenzten Raum, weil das keine richtige Verteilung ist.
Ich habe mich gefragt, ob jemand herausfinden kann (ob und), warum ein flacher posteriorer Raum auf einem unbegrenzten Raum nicht akzeptabel ist und wie er sich vom begrenzten Raum unterscheidet. Ein Beispiel für letzteres ist eine Dirichlet-Verteilung$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ wo $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.
Antworten
Es ist nicht möglich, eine flache (gleichmäßige) Wahrscheinlichkeitsverteilung auf einem unbegrenzten Raum zu haben, daher ist es insbesondere nicht möglich, eine flache hintere Verteilung zu haben.
Wenn Sie eine einheitliche Wahrscheinlichkeitsdichte auf der gesamten realen Linie hätten, würden Sie eine Funktion benötigen $f(x)$das integrierte zu 1 (um eine Wahrscheinlichkeitsdichte zu sein), war aber konstant. Das ist nicht möglich: Jede konstante Funktion wird auf 0 oder unendlich integriert.
Wenn Sie eine gleichmäßige Verteilung auf einer unendlichen Menge von ganzen Zahlen hätten, benötigen Sie die Wahrscheinlichkeitsmassenfunktion $p(n)$ für alle gleich sein $n$und zu 1 hinzufügen. Es kann nicht; wenn$p(n)$ ist für alle gleich $n$ es muss zu Null oder unendlich addieren.
Analoge Probleme treten bei komplizierteren Räumen auf, in denen es sinnvoll ist, von einer Verteilung zu sprechen, die "flach" ist.
Auf einem beschränkten finite-dimensionalen Raum, es ist möglich , eine konstante Funktion, die integriert auf 1 zu haben, und so eine Wahrscheinlichkeitsverteilung flach sein kann. Die Dirichlet-Verteilung ist beispielsweise auf a definiert$n$-dimensionales Dreieck mit Fläche $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ Jede konstante Funktion hat also ein endliches Integral und eine Funktion $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ integriert zu 1. Die Wahrscheinlichkeitsverteilung für das neuseeländische Lotto liegt über der Menge von Sequenzen mit sechs Zahlen mit Werten von 1 bis 40, sodass es nur endlich viele davon gibt und Sie für jede die gleiche Wahrscheinlichkeit festlegen können ($p(x)=1/3838380$) und lassen Sie es zu 1 addieren.
Angesichts dessen ist die eigentliche Frage, wie flach frühere Verteilungen sinnvoll sind. Es stellt sich heraus, dass Sie häufig eine konstante Funktion in die Bayes-Regel anstelle der vorherigen Dichte einfügen und eine echte Verteilung als posterior erhalten können. Es ist also sinnvoll, sich diesen Seitenzahn als zu einem „flachen Prior“ gehörend vorzustellen, selbst wenn es so etwas nicht gibt. Außerdem entspricht der Posterior, den Sie für einen "Flat Prior" erhalten, wenn es einen gibt, oft der Grenze der Posterioren, die Sie für immer mehr ausgebreitete echte Priors erhalten würden [Ich weiß nicht, ob dies immer der Fall ist wahr oder nur oft wahr]. Also zum Beispiel, wenn Sie haben$X_m\sim N(\mu,1)$ Daten und a $\mu\sim N(0,\omega^2)$ vorher ist der hintere normal mit Mittelwert $$\frac{n\bar X_n}{n+\omega^{-2}}$$ und Varianz $1/(n+\omega^{-2})$. Wenn du lässt$\omega$ erhöhen, der Prior wird immer mehr ausgebreitet und der hintere näher und näher $N(\bar X, 1/n)$, was Sie auch mit einem "Flat Prior" bekommen würden.
Manchmal ergibt die Verwendung eines "flachen Prior" jedoch keine echte Wahrscheinlichkeitsverteilung für den Seitenzahn. In diesem Fall ist dies nicht wirklich sinnvoll.
Genau genommen ist die Frage insofern ungenau, als sie das Referenzmaß nicht spezifiziert. Wenn das Referenzmaß ist$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ wo $\lambda$ ist das Lebesgue-Maß, ein posterior mit einer flachen Dichte ist gültig.
Unter der Annahme, dass die Verwendung eines "flachen Prior" eine konstante Dichte in Bezug auf das Lebesgue-Maß bedeutet, erklärt die Antwort von Thomas Lumley klar, warum eine Bayes'sche Folgerung mit einem solchen "Posterior" unmöglich ist. Dies ist keine Wahrscheinlichkeitsdichte und daher ist der hintere Teil einfach nicht definiert. Es gibt keine Möglichkeit, hintere Erwartungen oder sogar hintere Wahrscheinlichkeiten zu berechnen, da die hintere Masse des gesamten Raums im Unendlichen liegt. Ein Parameterraum mit einem unendlichen Volumen kann unter einem solchen Posterior nicht abgeleitet werden. Im Allgemeinen ist eine posteriore Integration ins Unendliche für die Bayes'sche Folgerung aus demselben Grund nicht akzeptabel, aus dem dies nicht in eine Wahrscheinlichkeitsdichte umgewandelt werden kann.
Als Marginalie und wie in einem früheren X-validierten Eintrag erläutert , hat die maximale Entropie Vorrang$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ wird als dominierende Maßnahme definiert $\text{d}\lambda$. Es gibt kein absolutes oder eindeutiges Maß für die Entropie in kontinuierlichen Räumen.