Che cos'è una scelta non informativa dei parametri per una distribuzione di Dirichlet?
La distribuzione di Dirichlet è un precedente coniugato per la distribuzione multinomiale. Voglio imporre un preventivo non informativo sui pesi di campionamento$\pi$ per un pareggio $x=(x_1,…,x_N)$ da una distribuzione multinomiale con supporto $d=(d_1,…,d_K)$ (tutti i possibili valori that $x_i$ può prendere) e campionare pesi $\pi=(\pi_1,…,\pi_K)$.
Ne avevo l'impressione $Dir(\alpha)$ con $\alpha_i=1$è una scelta giusta. Ma l'ho letto (vedi ad esempio questo )$Dir(\alpha)$ con $\alpha_i=0$ produce una distribuzione non informativa impropria.
Domanda:
- Perché $Dir(\alpha)$ con $\alpha_i=0$non è informativo? Non lo fa$\alpha\to 0$ imporre un peso di campionamento maggiore su un singolo dato e zero su tutti gli altri?
- Non dovrebbe una distribuzione uniforme $Dir(\alpha)$ con $\alpha_i=1$ essere una scelta non informativa per il precedente invece?
Risposte
Il problema principale qui è che "non informativo" è una sorta di termine artistico e può essere formulato in vari modi (vedi qui per un'interessante discussione sull'argomento). In un certo senso stretto, non esiste un "precedente non informativo" poiché ogni distribuzione precedente è una distribuzione specifica che ha un numero di implicazioni probabilistiche specifiche. Quello che abbiamo sono diverse metodologie differenti che possono formare priori non soggettivi (cioè, priori che dipendono solo dalla forma generale della funzione di verosimiglianza senza considerare i valori dei dati).
Ci sono diverse teorie concorrenti sulla formulazione di priori non soggettivi. Ciò include la teoria dei "priori di riferimento", i priori di Jeffries e vari altri. Queste teorie portano a forme precedenti che sono abbastanza vicine tra loro, ma differiscono un po ', quindi c'è anche un bel po' di letteratura che discute su quale sia la migliore. Se vuoi saperne di più, ti consiglio vivamente di leggere alcune delle opere di José Bernardo, che è probabilmente il preminente statistico bayesiano in questo campo. (Un'altra cosa che consiglierei è di leggere la teoria della "probabilità imprecisa" di Peter Walley; a mio avviso questo metodo ha una migliore pretesa di essere veramente obiettivo e "non informativo" rispetto alla scelta di un precedente specifico tramite altre teorie.)
Per quanto riguarda le tue domande specifiche, sì, il $\text{Dirichlet}(\mathbf{0})$la distribuzione è una distribuzione impropria, quindi se la usi come precedente, allora è una precedente impropria. Quanto al fatto che questo priore sia migliore o peggiore del priore piatto, lascio a voi la possibilità di leggere la letteratura sui precedenti impropri e vedere i vantaggi di ciascun metodo. Vale la pena notare che non sono molto diversi fintanto che si dispone di una quantità ragionevole di dati --- i dati si manifestano nella parte posteriore come un aumento di uno nel valore di un parametro per ogni punto dati osservato. L'analisi bayesiana ha una serie di utili teoremi di consistenza che stabiliscono che le credenze posteriori convergono anche con diversi priori, e per priori come questo, che sono solo leggermente diversi, questa convergenza è abbastanza rapida.
Ero incline a essere d'accordo con te, perché so che rstan usa αi = 1 come scelta prioritaria predefinita di Dirichlet. Le loro scelte predefinite devono essere debolmente informative . Ma ho trovato questo documento che discute perché Dir (0) è una scelta valida. Non lo capisco abbastanza bene per fornire un buon riassunto, ma sembra che Dir (0) sia l'unica scelta non informativa nelle trasformazioni che preservano la normalità.