Posteriore uniforme su spazio limitato vs spazio illimitato
Secondo questa risposta :
Non c'è problema con un piatto posteriore su uno spazio delimitato, come qui. Devi solo iniziare con un precedente più ampio di uno piatto. Quello che non puoi avere è un piatto posteriore su uno spazio illimitato, perché non è una distribuzione corretta.
Mi chiedevo se qualcuno possa elaborare (se e) perché il piatto posteriore su uno spazio illimitato non è accettabile e come differisce con lo spazio delimitato. Un esempio per quest'ultimo è una distribuzione dirichlet$\mathcal{D}irichlet(\alpha_1,\dots,\alpha_n)$ dove $\alpha_1 = \alpha_2=\dots=\alpha_n=1$.
Risposte
Non è possibile avere una distribuzione di probabilità piatta (uniforme) su uno spazio illimitato, quindi in particolare non è possibile avere una distribuzione posteriore piatta.
Se avessi una densità di probabilità uniforme sull'intera linea reale, avresti bisogno di una funzione $f(x)$quello integrato a 1 (per essere una densità di probabilità) ma era costante. Non è possibile: qualsiasi funzione costante si integra con 0 o infinito.
Allo stesso modo, se avessi una distribuzione uniforme su un insieme infinito di numeri interi, avresti bisogno della funzione di massa di probabilità $p(n)$ essere uguale per tutti $n$e aggiungi a 1. Non può; Se$p(n)$ è uguale per tutti $n$ deve aggiungere a zero o all'infinito.
Problemi analoghi si verificano per spazi più complicati dove è significativo parlare di una distribuzione "piatta".
Su uno spazio di dimensione finita limitato, è possibile avere una funzione costante che si integra con 1, quindi una distribuzione di probabilità può essere piatta. La distribuzione di Dirichlet, ad esempio, è definita su un file$n$-triangolo dimensionale con area $$\mathrm{B}(\boldsymbol{\alpha})=\frac{\prod_{i=1}^{K} \Gamma\left(\alpha_{i}\right)}{\Gamma\left(\sum_{i=1}^{K} \alpha_{i}\right)}$$ quindi ogni funzione costante ha un integrale finito e una funzione $$f(\boldsymbol{\alpha})=1/B(\boldsymbol{\alpha})$$ si integra con 1. La distribuzione di probabilità per New Zealand Lotto è sull'insieme di sequenze di sei numeri con valori da 1 a 40, quindi ce ne sono solo un numero finito e puoi mettere la stessa probabilità su ciascuna ($p(x)=1/3838380$) e aggiungi fino a 1.
Quindi, dato questo, la vera domanda è quanto abbiano senso le distribuzioni precedenti piatte . Si scopre che spesso è possibile inserire una funzione costante nella regola di Bayes al posto della densità precedente e ottenere una distribuzione genuina come posteriore. Ha senso, quindi, pensare a quel posteriore come appartenente a un "priore piatto" anche se non esiste una cosa simile. Inoltre, il posteriore che ottieni per un 'priore piatto', quando ce n'è uno, è spesso lo stesso del limite dei posteriori che avresti per priori genuini sempre più distesi [non so se questo è sempre vero o semplicemente vero spesso]. Quindi, ad esempio, se lo hai$X_m\sim N(\mu,1)$ dati e a $\mu\sim N(0,\omega^2)$ prima, il posteriore è normale con media $$\frac{n\bar X_n}{n+\omega^{-2}}$$ e varianza $1/(n+\omega^{-2})$. Se lo lasci$\omega$ aumentare, il priore si allarga sempre di più e il posteriore si avvicina sempre di più $N(\bar X, 1/n)$, che è anche quello che otterresti con un 'flat prior'.
A volte, tuttavia, l'uso di un "precedente piatto" non fornisce una distribuzione di probabilità autentica per il posteriore, nel qual caso non ha davvero senso.
A rigor di termini, la questione è imprecisa in quanto non specifica la misura di riferimento. Se la misura di riferimento è$\text{d}\mu(x)=e^{-x^2}\text{d}\lambda(x)$ dove $\lambda$ è la misura di Lebesgue, vale un posteriore con densità piatta.
Supponendo tuttavia che utilizzare un "precedente piatto" significhi avere una densità costante rispetto alla misura di Lebesgue, la risposta di Thomas Lumley spiega chiaramente perché l'inferenza bayesiana è impossibile con un tale "posteriore". Questa non è una densità di probabilità e quindi il posteriore semplicemente non è definito. Non c'è modo di calcolare le aspettative posteriori o anche le probabilità posteriori poiché la massa posteriore dell'intero spazio è infinita. Qualsiasi spazio parametrico con un volume infinito non può essere dedotto sotto un posteriore come questo. Più in generale, qualsiasi integrazione posteriore all'infinito non è accettabile per l'inferenza bayesiana proprio per la stessa ragione per cui questa non può essere trasformata in una densità di probabilità.
Come marginalia , e come discusso in una precedente voce convalidata da X , la massima entropia a priori$$\arg_p \max \int p(x) \log p(x) \text{d}\lambda(x)$$ è definito in termini di misura dominante $\text{d}\lambda$. Non esiste una misura assoluta o unica di entropia negli spazi continui.