Por que um pequeno $p$-valor indica incompatibilidade com o valor nulo?
Vamos tomar, como um exemplo simples, o teste de hipótese de uma amostra de duas caudas sobre a média da população. Suponha que tenhamos determinado um$\alpha$-nível a priori.
Deixei $X_1, \dots, X_n \overset{\text{iid}}{\sim}\mathcal{N}(\mu, \sigma^2)$. Nesta configuração, dado um valor$\mu_0$, temos as hipóteses nula e alternativa $H_0: \mu = \mu_0$ e $H_1: \mu \neq \mu_0$.
Deixei $\bar{X}_n$ ser a média da amostra de $X_1, \dots, X_n$ e $S^2$ ser o estimador imparcial de $\sigma^2$, com $\bar{x}_n$ e $s^2$ sendo os valores observados.
Nós sabemos isso $$\dfrac{\bar{X}_n - \mu}{\sqrt{S^2/n}} \sim t_{n-1}$$ ou seja, um $t$-distribuição com $n-1$graus de liberdade. Sob$H_0$, nós temos isso $$\dfrac{\bar{X}_n - \mu_0}{\sqrt{S^2/n}} \sim t_{n-1}\text{.}$$ Então calculamos um $p$-valor $$p = \mathbb{P}\left(|T| \geq \dfrac{\bar{x}_n - \mu_0}{\sqrt{s^2/n}} \right)$$ Onde $T \sim t_{n-1}$ e se $p < \alpha$, nós rejeitamos $H_0$ e afirmar que há evidências para $H_1$.
Agora, eu faço esse procedimento há anos, e fico um pouco envergonhado de perguntar isso, visto que tenho um diploma de MS: mas exatamente por que ter$p < \alpha$ indicar incompatibilidade com $H_0$ e evidências para $H_1$? Matematicamente, tudo o que importa no final do dia é a probabilidade de que sua variável aleatória$T$assume um valor pelo menos tão extremo (em valor absoluto) do que aquele fornecido pela amostra. Mas não consigo ver porque ter$p < \alpha$ indica que temos evidências para rejeitar $H_0$.
Talvez isso tenha sido abordado em Casella e Berger e eu esqueci os detalhes.
Respostas
Vamos usar uma analogia.
Você acorda confuso sobre que dia é. Pior, você nem sabe o mês, embora tenha um palpite de que pode ser verão, mas você quer que seja inverno (então$H_0: \text{summer}$ e $H_a: \text{winter}$) Você não confia no calendário do seu telefone, mas confia no app meteorológico, então verifica a temperatura.
Você vê que o aplicativo meteorológico relata a temperatura como $-24^{\circ} C$.
Você sabe que ser tão frio ou mais frio é muito improvável durante o verão, então rejeita a ideia de que é verão em favor de concluir que é inverno.
Nesta analogia, o valor crítico dando suficientemente pequeno $p <\alpha$ é a temperatura na qual você duvidaria tanto de seu palpite que é verão que concluiria: "Não, inverno!"
Sempre vejo o valor p como um indicador de uma anomalia: uma observação extrema improvável (quanto improvável, isso é indicado pelo valor p).
Nem todas as discrepâncias entre a teoria nula e a observação são um forte indicador de incompatibilidade com a nula. Por causa do ruído ou outras variações de medição, alguma discrepância é esperada e é provável que se obtenha uma observação dentro de algum intervalo.
No entanto, grandes discrepâncias fora da faixa provável são inesperadas. Essas discrepâncias são um indicador de que a teoria nula pode estar incorreta. Quanto mais inesperada a discrepância (quanto menor o valor de p), mais forte indica que a teoria nula é incompatível com as observações.
Ao testar uma teoria, observando uma discrepância entre ela e a observação, estamos tipicamente interessados apenas em discrepâncias altamente improváveis.
Estritamente falando, qualquer valor- p é alguma evidência sobre o$H_0$ vs. $H_1$questão. Geralmente se resume à tomada de decisão: você deve agir (ou planejar seus atos futuros) assumindo que$H_0$ é verdade, ou você deveria segurar $H_1$de verdade? Em um campo empírico, você nunca pode saber com certeza absoluta, mas ainda assim, você tem que tomar a decisão de alguma forma.
Agora, é uma questão diferente se a probabilidade por si só é o critério correto para tomar essa decisão, mas vamos supor que seja. Então, definindo$\alpha$para algum valor (geralmente 0,05), você está basicamente estabelecendo um limite de decisão: Se o valor p estiver abaixo dele, você decide agir como se$H_1$fossem verdadeiras, porque é suficientemente improvável (embora ainda possível) obter um valor tão extremo de$T$ E se $H_0$ estavam certos.
Por exemplo:
Suponha que você tenha pedido 1 milhão de 1 mil$\Omega$resistores de um fabricante de componentes eletrônicos. Devido ao processo de fabricação, nenhum resistor tem exatamente 1 k$\Omega$, então a verdadeira resistência é alguma distribuição aleatória em torno desse valor. Você não tem recursos para verificar cada resistor sozinho, mas pode pegar uma amostra, medir a resistência nela e fazer as estatísticas.
Se você obtiver um valor p suficientemente grande ,$p \gt \alpha$, Você pode dizer:
Supondo que a verdadeira resistência da população seja 1$k\Omega$, é razoavelmente provável tirar uma amostra aleatória cuja resistência média se desvie pelo menos tanto quanto medida daquele valor ideal. Aceitarei a remessa e incorporarei os resistores em meu produto.
Isso é não rejeitar $H_0$. Por outro lado, se o seu valor p estiver abaixo do seu$\alpha$, seu raciocínio é o seguinte:
Supondo que a verdadeira resistência da população seja 1$k\Omega$, é muito improvável obter uma amostra aleatória cuja resistência média se desvie pelo menos tanto quanto medida daquele valor ideal. Portanto, a verdadeira resistência provavelmente não é 1$k\Omega$. Eu vou rejeitar o embarque, processar o fabricante, procurar um mais confiável ou o que quer, mas vou não usar essas resistências no meu produto, porque não vai funcionar corretamente com componentes dimensionados de forma errada.
Isso é rejeição $H_0$ em favor de $H_1$.