Равномерная апостериорная функция на ограниченном пространстве против неограниченного пространства
Согласно этому ответу :
Нет проблем с плоской задней частью в ограниченном пространстве, как здесь. Вам просто нужно начать с априорной, которая шире плоской. Чего вы не можете получить, так это плоской задней части на неограниченном пространстве, потому что это неправильное распределение.
Мне было интересно, может ли кто-нибудь уточнить (если и), почему плоская задняя часть в неограниченном пространстве неприемлема и чем она отличается от ограниченного пространства. Примером последнего является распределение Дирихле$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ где $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.
Ответы
Невозможно иметь плоское (однородное) распределение вероятностей в неограниченном пространстве, поэтому, в частности, невозможно иметь плоское апостериорное распределение.
Если бы у вас была равномерная плотность вероятности на всей реальной прямой, вам понадобится функция $f(x)$который интегрирован в 1 (чтобы быть плотностью вероятности), но был постоянным. Это невозможно: любая постоянная функция интегрируется до 0 или до бесконечности.
Точно так же, если бы у вас было равномерное распределение по бесконечному набору целых чисел, вам понадобится функция вероятности массы $p(n)$ быть равным для всех $n$и добавить к 1. Не может; если$p(n)$ одинаково для всех $n$ он должен прибавлять к нулю или бесконечности.
Аналогичные проблемы возникают для более сложных пространств, где имеет смысл говорить о «плоском» распределении.
На ограниченном конечномерном пространстве, то есть возможность иметь функцию постоянной , которая объединяет 1, и поэтому распределение вероятностей может быть плоской. Например, распределение Дирихле определяется на$n$-мерный треугольник с площадью $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ поэтому любая постоянная функция имеет конечный интеграл, а функция $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ интегрируется до 1. Распределение вероятностей для New Zealand Lotto определяется набором последовательностей из шести чисел со значениями от 1 до 40, поэтому их только конечное число, и вы можете положить равную вероятность для каждой из них ($p(x)=1/3838380$) и добавьте в него 1.
Итак, учитывая это, реальный вопрос заключается в том, насколько разумны плоские априорные распределения. Оказывается, вы часто можете поместить в правило Байеса постоянную функцию вместо априорной плотности и получить истинное распределение в качестве апостериорного. Таким образом, имеет смысл думать об этой задней части как о «плоской априорной», даже если такой вещи нет. Кроме того, апостериор, который вы получаете за «плоскую априорность», когда она есть, часто совпадает с лимитом апостериоров, который вы получаете для все более и более распространенных подлинных априорных точек [я не знаю, всегда ли это правда или просто часто правда]. Так, например, если у вас$X_m\sim N(\mu,1)$ данные и $\mu\sim N(0,\omega^2)$ априорный, задний - нормальный со средним $$\frac{n\bar X_n}{n+\omega^{-2}}$$ и дисперсия $1/(n+\omega^{-2})$. Если вы позволите$\omega$ увеличивается, передняя становится все больше и больше, а задняя - все ближе и ближе к $N(\bar X, 1/n)$, то же самое и с «плоским приором».
Иногда, однако, использование «плоского априорного» не дает истинного распределения вероятностей для апостериорного распределения, и в этом случае это не имеет смысла.
Строго говоря, вопрос неточный, поскольку в нем не указывается эталонная мера. Если эталонная мера$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ где $\lambda$ - мера Лебега, допустима апостериорная с плоской плотностью.
Предполагая, однако, что использование «плоского априорного значения» означает наличие постоянной плотности относительно меры Лебега, ответ Томаса Ламли ясно объясняет, почему байесовский вывод невозможен с таким «апостериорным». Это не плотность вероятности, и поэтому апостериорная величина просто не определена. Невозможно вычислить апостериорные ожидания или даже апостериорные вероятности, поскольку апостериорная масса всего пространства находится в бесконечности. Любое пространство параметров с бесконечным объемом не может быть выведено таким апостериорным методом. В более общем смысле, любое апостериорное интегрирование до бесконечности неприемлемо для байесовского вывода по той же причине, что его нельзя превратить в плотность вероятности.
В качестве маргинала и как обсуждалось в более ранней проверке X , максимальная энтропия до$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ определяется в терминах доминирующей меры $\text{d}\lambda$. Не существует абсолютной или единственной меры энтропии в непрерывных пространствах.