Spiegazione del peso moltiplicato per la somma delle probabilità posteriori
Permettere, $P(\theta|x)$è la probabilità a posteriori. Esso descrive$\textbf{how certain or confident we are that hypothesis $\ theta$ is true, given that}$ abbiamo osservato i dati $x$.
Il calcolo delle probabilità a posteriori è l'obiettivo principale della statistica bayesiana!
$P(\theta)$ è la probabilità a priori, che descrive $\textbf{how sure we were that}$ $\theta$ era vero, prima di osservare i dati $x$.
$P(x|\theta)$ è la probabilità. $\textbf{If you were to assume that $\ theta$ is true, this is the probability}$ che avresti osservato i dati $x$.
$P(x)$è la probabilità marginale. Questa è la probabilità che avresti osservato i dati$x$, se $\theta$ è vero o no.
Così, $P (\theta|x) = \frac{P (\theta) P(x|\theta)}{P (x)}$
La parte seguente è un estratto dallo stesso testo:
Nel quadro bayesiano, le nostre previsioni sono sempre sotto forma di probabilità o (successive) distribuzioni di probabilità. Di solito sono calcolati in tre fasi.
Innanzitutto, fingi di conoscere effettivamente il valore reale dei parametri e calcoli la probabilità in base a tale ipotesi.
Quindi, lo fai per tutti i possibili valori del parametro $\theta$ (in alternativa, puoi calcolare la probabilità in funzione di $\theta$).
Infine, combini tutte queste probabilità in un modo particolare per ottenere un'ultima probabilità che ti dice quanto sei sicuro della tua previsione.
Supponiamo di conoscere il vero valore di $\theta$ era $0.3$. Allora, sapremmo la probabilità di prendere l'autobus giusto domani è$0.3$. Se conoscessimo il vero valore di$\theta$ era $0.4$, diremmo che la probabilità di prendere l'autobus giusto domani è 0,4.
Il problema è che non sappiamo quale sia il vero valore. Abbiamo solo la distribuzione posteriore. Fortunatamente, la regola della somma della probabilità (combinata con la regola del prodotto) può aiutarci.
Ci interessa sapere se domani prenderò un buon autobus. Ci sono$11$modi diversi che possono accadere. O$\theta=0$ e prendo l'autobus buono, o $\theta=0.1$ e prendo l'autobus buono, o $\theta=0.2$e prendo l'autobus buono, e così via. Questi 11 modi si escludono a vicenda. Cioè, solo uno di loro può essere vero (da allora$\theta$ è in realtà solo un numero singolo).
Matematicamente, possiamo ottenere la probabilità a posteriori di prendere l'autobus buono domani usando la regola della somma: $$P(\text{good bus tomorrow}|x) = \sum_{\theta} p(\theta|x) \times P(\text{good bus tomorrow}|\theta, x) $$$$= \sum_{\theta} p(\theta|x) \times \theta$$
Questo dice che la probabilità totale per un buon bus domani (dati i dati, cioè usando la distribuzione a posteriori e non la distribuzione a priori) è data da
passando attraverso ogni possibile $\theta$ valore,
calcolare la probabilità assumendo il $\theta$ valore che stai considerando è vero, moltiplicando per la probabilità (dati i dati) questo $\theta$ il valore è effettivamente vero,
e sommando.
In questo particolare problema, perché $P\text{(good bus tomorrow}|\theta, x) = θ$, accade solo che la probabilità per domani sia il valore atteso di $\theta$ utilizzando la distribuzione posteriore.
Con tre cifre decimali, il risultato per la probabilità domani è $0.429$. È interessante notare che questo non è uguale a$2/5 = 0.4$.
Il problema a pagina $26, 7$del testo dell'Introduzione alle statistiche bayesiane di Brendon J. Brewer è scritto come segue:
DOMANDA
Ora per calcolare la probabilità a posteriori (di prendere un buon autobus domani) $P(\text{good bus tomorrow}|x)$ perché l'autore si è moltiplicato $p(\theta|x)$ di $P(\text{good bus tomorrow}|\theta, x) $ nel $\sum_{\theta}$?
Per me, $P(\text{good bus tomorrow}|x) = \sum_{\theta} p(\theta|x) $ è corretto, quindi cosa mi manca?
In questo commento mi è stato detto,$p(\theta|x)$ di per sé è un peso, che mi ha confuso di più, quindi per favore spiega, grazie.
Risposte
(1) Legge di Bayes con extra-condizionamento.
Hai familiarità con la legge di Bayes.
$$P(\theta|x) = \frac{P(\theta,x)}{P(x)}= \frac{P(x|\theta)}{P(x)}\cdot P(\theta)$$
Intuitivamente, qual è la possibilità di osservare $\theta$ limitando la tua attenzione solo alle prove in cui $x$ si verifica?
E se aggiungessi una condizione extra $y$? Qual è la possibilità di osservare$\theta$ limitare la tua attenzione alle prove in cui entrambi $x,y$ si verificano?
La legge di Bayes con extra-condizionamento sarebbe:
$$P(\theta|x,y) = \frac{P(x|\theta,y)}{P(x|y)}\cdot P(\theta|y)$$
(2) Regola di moltiplicazione con condizionamento extra.
Allo stesso modo, se $A$ e $B$ sono due eventi, la probabilità congiunta di $AB$ è dato da :
$P(AB) = P(B|A)\cdot P(A)$
Aggiungendo extra-condizionamento, la probabilità congiunta di $AB$ condizionato $C$, è:
$P(AB|C) = P(B|AC)\cdot P(A|C)$
(3) Legge della probabilità totale con extra-condizionamento .
Se l'evento $A$ dipende $n$ eventi disgiunti $\theta_1,\theta_2,\ldots,\theta_n$ poi
$\begin{align} P(A)=\sum_{\theta}p(A|\theta)\cdot P(\theta) \end{align}$
Con l'extra-condizionamento la legge della probabilità totale diventa:
$\begin{align} P(A|x)=\sum_{\theta}p(A|\theta,x)\cdot P(\theta|x) \end{align}$