Probabilidade de pré-teste e teste de hipótese

Question

Recentemente, li o artigo Erros estatísticos , escrito por Regina Nuzzo (Nature, fevereiro de 2014). Espero que não haja problema em incluir a imagem publicada naquele artigo, pois minha pergunta está diretamente ligada a ela:

Eu estava me perguntando de onde vêm esses valores. Dizer$H_1$é a hipótese de que não é um efeito real;$H_0$significa que não há efeito. Digamos$P(\mathrm{eff})$é a probabilidade de um efeito existir. Mais distante,$P(H_1)$ é a probabilidade do teste de rejeitar a hipótese nula e $P(H_0)$ a probabilidade de aceitar a hipótese nula.

Para o exemplo mais à esquerda, eu agora atribuiria as seguintes probabilidades:

• $P(\mathrm{eff})=0.05$ e $P(\overline{\mathrm{eff}})=0.95$
• $P(H_1\mid\overline{\mathrm{eff}})\leq0.05$
• $P(\mathrm{eff}\mid H_1)=0.11$ e $P(\overline{\mathrm{eff}}\mid H_1=0.89$

Agora com o teorema de Bayes, eu poderia concluir $$ P(\mathrm{eff}\mid H_1) = \frac{P(H_1\mid\overline{\mathrm{eff}})\cdot P(\overline{\mathrm{eff}})}{P(H_1)} $$ mas $P(H_1)$É desconhecido. Agora pensei que poderia usar a lei da probabilidade total:$$ P(H_1) = P(H_1\mid\mathrm{eff})\cdot P(\mathrm{eff}) + P(H_1\mid\overline{\mathrm{eff}})\cdot P(\overline{\mathrm{eff}})$$ No entanto, neste caso, há $P(H_1\mid\mathrm{eff})$Isso eu não sei. Assim, a cobra está de alguma forma mordendo a própria cauda.

Como posso encontrar a informação que faltava? Ou o que estou fazendo de errado?

Answer 1

Não é óbvio o que foi feito nesse gráfico, mas os números podem ser consistentes com $P(\text{report low }p\mid H_1)$ sobre $0.12$ ao usar o $p<0.05$ teste e sobre $0.08$ ao usar o $p<0.01$ teste (um teste com menos falsos positivos pode levar a menos verdadeiros positivos também, então isso faz algum sentido), além de arredondamento para duas casas decimais.

Em detalhes, a aritmética para $$P(H_1\mid \text{report low }p) = \dfrac{P(\text{report low }p\mid H_1)P(H_1)}{P(\text{report low }p) } \\ =\dfrac{P(\text{report low }p\mid H_1)P(H_1)}{P(\text{report low }p\mid H_1)P(H_1)+P(\text{report low }p\mid H_0)P(H_0) }$$ parece ter sido algo como:

• $\dfrac{0.05 \times 0.12}{0.05 \times 0.12 + 0.95\times 0.05 } \approx 0.112$
• $\dfrac{0.05 \times 0.08}{0.05 \times 0.08 + 0.95\times 0.01 } \approx 0.296$
• $\dfrac{0.50 \times 0.12}{0.50 \times 0.12 + 0.50\times 0.05 } \approx 0.706$
• $\dfrac{0.50 \times 0.08}{0.50 \times 0.08 + 0.50\times 0.01 } \approx 0.889$
• $\dfrac{0.90 \times 0.12}{0.90 \times 0.12 + 0.10\times 0.05 } \approx 0.956$
• $\dfrac{0.90 \times 0.08}{0.90 \times 0.08 + 0.10\times 0.01 } \approx 0.986$