Sınırlı alanda tek tip posterior vs sınırsız uzay
Bu cevaba göre :
Burada olduğu gibi, sınırlı bir alanda düz bir posteriorda sorun yok. Sadece düz olandan daha yayılmış bir önceki ile başlamalısın. Sahip olamayacağınız şey, sınırsız bir alanda düz bir posterior, çünkü bu uygun bir dağılım değil.
Birisinin (eğer ve) sınırsız bir uzayda düz posteriorun neden kabul edilemez olduğunu ve bunun sınırlı alanla nasıl farklılaştığını (eğer ve) detaylandırabilir mi diye merak ediyordum. İkincisi için bir örnek, dirichlet dağıtımıdır$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ nerede $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.
Yanıtlar
Sınırsız bir uzayda düz (tekdüze) bir olasılık dağılımına sahip olmak mümkün değildir, bu nedenle özellikle düz bir arka dağılıma sahip olmak mümkün değildir.
Gerçek çizginin tamamında tek tip bir olasılık yoğunluğunuz olsaydı, bir fonksiyona ihtiyacınız olurdu $f(x)$1'e entegre edildi (bir olasılık yoğunluğu olacaktı) ama sabitti. Bu mümkün değil: herhangi bir sabit fonksiyon 0 veya sonsuza entegre olur.
Benzer şekilde, sonsuz bir tam sayılar kümesi üzerinde tekdüze bir dağılımınız varsa, olasılık kütle işlevine ihtiyacınız olacaktır. $p(n)$ herkes için eşit olmak $n$ve 1'e ekleyin. Yapamaz; Eğer$p(n)$ herkes için eşittir $n$ sıfır veya sonsuza eklemesi gerekir.
Bir dağıtımın 'düz' olduğundan bahsetmenin anlamlı olduğu daha karmaşık alanlar için benzer sorunlar ortaya çıkar.
Sınırlı bir sonlu boyutlu uzayda günü, o ise o bütünleştirir 1'e sabit bir fonksiyonu olması mümkün ve bir olasılık dağılımının çok düz olabilir. Dirichlet dağılımı, örneğin, bir$n$alanlı boyutsal üçgen $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ yani herhangi bir sabit fonksiyonun sonlu integrali ve bir fonksiyonu vardır $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ Yeni Zelanda Loto'sunun olasılık dağılımı, 1'den 40'a kadar değerlere sahip altı sayı dizileri kümesinin üzerindedir, bu nedenle bunlardan yalnızca sonlu sayıda vardır ve her birine eşit olasılık koyabilirsiniz ($p(x)=1/3838380$) ve toplamı 1'e kadar olmasını sağlayın.
Öyleyse, bu göz önüne alındığında, asıl soru önceki dağıtımların ne kadar mantıklı olduğudur. Görünüşe göre Bayes Kuralına önceki yoğunluğun yerine sabit bir işlev koyabilir ve arka olarak gerçek bir dağılım elde edebilirsiniz. Öyleyse, böyle bir şey olmasa bile bu posteri bir 'düz öncekine' ait olarak düşünmek mantıklıdır. Ayrıca, 'düz bir önceki' için aldığınız posterior, bir tane olduğunda, genellikle daha fazla ve daha fazla gerçek öncül yaymak için alacağınız postacıların sınırı ile aynıdır [Bunun her zaman olup olmadığını bilmiyorum doğru veya genellikle doğru]. Öyleyse, örneğin, varsa$X_m\sim N(\mu,1)$ veri ve bir $\mu\sim N(0,\omega^2)$ daha önce, arka ortalama ile Normal $$\frac{n\bar X_n}{n+\omega^{-2}}$$ ve varyans $1/(n+\omega^{-2})$. İzin verirsen$\omega$ artar, önceki giderek daha fazla yayılır ve posterior daha da yakınlaşır $N(\bar X, 1/n)$, bu aynı zamanda 'düz bir önceki' ile elde edeceğiniz şeydir.
Bazen, yine de, 'düz bir önceki' kullanmak, arka için gerçek bir olasılık dağılımı vermez, bu durumda gerçekten mantıklı değildir.
Kesin olarak konuşursak, soru, referans ölçüyü belirtmediği için belirsizdir. Referans ölçü ise$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ nerede $\lambda$ Lebesgue ölçüsüdür, düz yoğunluklu bir posterior geçerlidir.
Bununla birlikte, bir "düz öncekinin" kullanılmasının Lebesgue ölçüsüne göre sabit bir yoğunluğa sahip olmak anlamına geldiğini varsayarsak, Thomas Lumley'in cevabı, böyle bir "arka" ile neden Bayesci çıkarımın imkansız olduğunu açık bir şekilde açıklar. Bu bir olasılık yoğunluğu değildir ve bu nedenle arka taraf basitçe tanımlanmamıştır. Tüm uzayın sonsuzluktaki arka kütlesi olduğu için, son beklentileri ve hatta son olasılıkları hesaplamanın bir yolu yoktur. Sonsuz hacimli herhangi bir parametre uzayı, bunun gibi bir posterior altında çıkarılamaz. Daha genel olarak, sonsuzluğa herhangi bir posterior entegrasyon, Bayesci çıkarım için kabul edilemez çünkü bunun bir olasılık yoğunluğuna dönüştürülememesi ile aynı nedenden ötürü.
Bir marjinal olarak ve daha önceki bir X doğrulanmış girişte tartışıldığı gibi , maksimum entropi$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ hakim bir ölçü olarak tanımlanmıştır $\text{d}\lambda$. Sürekli uzaylarda mutlak veya benzersiz bir entropi ölçüsü yoktur.