Probabilità pre-test e verifica di ipotesi

Question

Recentemente mi sono imbattuto nell'articolo Errori statistici , scritto da Regina Nuzzo (Nature, feb 2014). Spero che sia corretto includere l'immagine pubblicata in quell'articolo, poiché la mia domanda è direttamente collegata ad essa:

Mi chiedevo da dove venissero quei valori. Dire$H_1$è l'ipotesi che ci sia un effetto reale;$H_0$significa che non ci sono effetti. Diciamo$P(\mathrm{eff})$è la probabilità che esista un effetto. Ulteriore,$P(H_1)$ è la probabilità del test di rifiutare l'ipotesi nulla e $P(H_0)$ la probabilità di accettare l'ipotesi nulla.

Per l'esempio più a sinistra, assegnerei ora le seguenti probabilità:

• $P(\mathrm{eff})=0.05$ e $P(\overline{\mathrm{eff}})=0.95$
• $P(H_1\mid\overline{\mathrm{eff}})\leq0.05$
• $P(\mathrm{eff}\mid H_1)=0.11$ e $P(\overline{\mathrm{eff}}\mid H_1=0.89$

Ora, con il teorema di Bayes, potrei concludere $$ P(\mathrm{eff}\mid H_1) = \frac{P(H_1\mid\overline{\mathrm{eff}})\cdot P(\overline{\mathrm{eff}})}{P(H_1)} $$ ma $P(H_1)$è sconosciuto. Ora pensavo di poter usare la legge della probabilità totale:$$ P(H_1) = P(H_1\mid\mathrm{eff})\cdot P(\mathrm{eff}) + P(H_1\mid\overline{\mathrm{eff}})\cdot P(\overline{\mathrm{eff}})$$ Tuttavia, in questo caso, c'è $P(H_1\mid\mathrm{eff})$che non lo so. Quindi, il serpente si sta in qualche modo mordendo la coda.

Come posso trovare l'informazione mancante? O cosa sto facendo di sbagliato?

Answer 1

Non è ovvio cosa sia stato fatto in quel grafico, ma i numeri potrebbero essere coerenti con $P(\text{report low }p\mid H_1)$ di $0.12$ quando si utilizza $p<0.05$ prova e circa $0.08$ quando si utilizza $p<0.01$ test (un test con meno falsi positivi può portare anche a meno veri positivi, quindi questo ha senso), più l'arrotondamento a due cifre decimali.

In dettaglio, l'aritmetica per $$P(H_1\mid \text{report low }p) = \dfrac{P(\text{report low }p\mid H_1)P(H_1)}{P(\text{report low }p) } \\ =\dfrac{P(\text{report low }p\mid H_1)P(H_1)}{P(\text{report low }p\mid H_1)P(H_1)+P(\text{report low }p\mid H_0)P(H_0) }$$ sembra essere stato qualcosa del tipo:

• $\dfrac{0.05 \times 0.12}{0.05 \times 0.12 + 0.95\times 0.05 } \approx 0.112$
• $\dfrac{0.05 \times 0.08}{0.05 \times 0.08 + 0.95\times 0.01 } \approx 0.296$
• $\dfrac{0.50 \times 0.12}{0.50 \times 0.12 + 0.50\times 0.05 } \approx 0.706$
• $\dfrac{0.50 \times 0.08}{0.50 \times 0.08 + 0.50\times 0.01 } \approx 0.889$
• $\dfrac{0.90 \times 0.12}{0.90 \times 0.12 + 0.10\times 0.05 } \approx 0.956$
• $\dfrac{0.90 \times 0.08}{0.90 \times 0.08 + 0.10\times 0.01 } \approx 0.986$