Seragam posterior pada ruang terbatas vs ruang tanpa batas
Menurut jawaban ini :
Tidak ada masalah dengan posterior datar di ruang terbatas, seperti di sini. Anda hanya harus memulai dengan prior yang lebih tersebar daripada yang datar. Yang tidak dapat Anda miliki adalah posterior datar pada ruang tanpa batas, karena itu bukan distribusi yang tepat.
Saya bertanya-tanya apakah seseorang dapat menjelaskan (jika dan) mengapa posterior datar pada ruang tanpa batas tidak dapat diterima dan bagaimana perbedaannya dengan ruang yang dibatasi. Contoh yang terakhir adalah distribusi balonchlet$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ dimana $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.
Jawaban
Tidaklah mungkin untuk memiliki distribusi probabilitas datar (seragam) pada ruang tak terbatas, jadi secara khusus tidak mungkin untuk memiliki distribusi posterior datar.
Jika Anda memiliki kepadatan probabilitas yang seragam di seluruh garis nyata, Anda memerlukan fungsi $f(x)$yang terintegrasi ke 1 (menjadi kepadatan probabilitas) tetapi konstan. Itu tidak mungkin: fungsi konstan apa pun berintegrasi dengan 0 atau tak terbatas.
Demikian pula, jika Anda memiliki distribusi seragam pada himpunan bilangan bulat tak hingga, Anda memerlukan fungsi massa probabilitas $p(n)$ agar sama untuk semua $n$dan tambahkan ke 1. Tidak bisa; jika$p(n)$ sama untuk semua $n$ itu harus menambah nol atau tak terbatas.
Masalah analogi terjadi untuk ruang yang lebih rumit yang berarti membicarakan distribusi yang 'datar'.
Pada ruang terbatas dimensi dibatasi, itu adalah mungkin untuk memiliki fungsi konstan yang terintegrasi untuk 1, dan distribusi probabilitas dapat menjadi datar. Distribusi Dirichlet, misalnya, didefinisikan pada a$n$segitiga -dimensi dengan luas $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ jadi setiap fungsi konstanta memiliki integral berhingga, dan sebuah fungsi $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ terintegrasi ke 1. Distribusi probabilitas untuk New Zealand Lotto adalah di atas himpunan urutan enam angka dengan nilai dari 1 hingga 40, jadi hanya ada banyak dari mereka, dan Anda dapat menempatkan probabilitas yang sama pada masing-masing ($p(x)=1/3838380$) dan menambahkannya hingga 1.
Jadi, mengingat itu, pertanyaan sebenarnya adalah seberapa masuk akal distribusi flat prior . Ternyata Anda sering dapat menempatkan fungsi konstan ke dalam Aturan Bayes sebagai ganti kerapatan sebelumnya dan mendapatkan distribusi asli sebagai posterior. Maka, masuk akal untuk memikirkan posterior itu sebagai milik 'flat prior' meskipun tidak ada hal seperti itu. Juga, posterior yang Anda dapatkan untuk 'flat prior', bila ada, sering kali sama dengan batas posterior yang Anda dapatkan untuk semakin menyebar prior asli [Saya tidak tahu apakah ini selalu benar atau hanya sering kali benar]. Jadi, misalnya, jika Anda punya$X_m\sim N(\mu,1)$ data dan a $\mu\sim N(0,\omega^2)$ sebelumnya, posteriornya Normal dengan mean $$\frac{n\bar X_n}{n+\omega^{-2}}$$ dan varians $1/(n+\omega^{-2})$. Jika Anda membiarkan$\omega$ meningkat, yang sebelumnya semakin tersebar dan posterior semakin dekat dan dekat $N(\bar X, 1/n)$, yang juga akan Anda dapatkan dengan 'flat prior'.
Namun, terkadang, menggunakan 'flat prior' tidak memberikan distribusi probabilitas yang sebenarnya untuk posterior, yang dalam hal ini tidak masuk akal.
Sebenarnya, pertanyaannya tidak tepat karena tidak menentukan ukuran referensi. Jika ukuran referensi adalah$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ dimana $\lambda$ adalah ukuran Lebesgue, posterior dengan kepadatan datar valid.
Namun dengan asumsi menggunakan "flat prior" berarti memiliki kepadatan konstan sehubungan dengan ukuran Lebesgue, jawaban Thomas Lumley dengan jelas menjelaskan mengapa inferensi Bayesian tidak mungkin dengan "posterior" seperti itu. Ini bukan kepadatan probabilitas dan karenanya posterior tidak ditentukan. Tidak ada cara untuk menghitung ekspektasi posterior atau bahkan probabilitas posterior karena massa posterior seluruh ruang dalam tak terhingga. Setiap ruang parameter dengan volume tak terbatas tidak dapat disimpulkan di bawah posterior seperti ini. Secara lebih umum, semua posterior yang berintegrasi hingga tak terbatas tidak dapat diterima untuk inferensi Bayesian karena alasan yang sama bahwa ini tidak dapat diubah menjadi kepadatan probabilitas.
Sebagai marginalia , dan seperti yang dibahas dalam entri X yang divalidasi sebelumnya , entropi maksimum sebelumnya$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ didefinisikan dalam hal ukuran mendominasi $\text{d}\lambda$. Tidak ada ukuran entropi absolut atau unik dalam ruang kontinu.