Perché un piccolo file $p$-valore indica incompatibilità con il null?
Prendiamo, come semplice esempio, il test di ipotesi su un campione a due code sulla media della popolazione. Supponiamo di aver determinato un file$\alpha$-livello a priori.
Permettere $X_1, \dots, X_n \overset{\text{iid}}{\sim}\mathcal{N}(\mu, \sigma^2)$. In questa impostazione, dato un valore$\mu_0$, abbiamo l'ipotesi nulla e alternativa $H_0: \mu = \mu_0$ e $H_1: \mu \neq \mu_0$.
Permettere $\bar{X}_n$ essere la media campionaria di $X_1, \dots, X_n$ e $S^2$ essere lo stimatore imparziale di $\sigma^2$, con $\bar{x}_n$ e $s^2$ essendo i valori osservati.
Lo sappiamo $$\dfrac{\bar{X}_n - \mu}{\sqrt{S^2/n}} \sim t_{n-1}$$ cioè a $t$-distribuzione con $n-1$gradi di libertà. Sotto$H_0$, ce l'abbiamo $$\dfrac{\bar{X}_n - \mu_0}{\sqrt{S^2/n}} \sim t_{n-1}\text{.}$$ Quindi calcoliamo a $p$-valore $$p = \mathbb{P}\left(|T| \geq \dfrac{\bar{x}_n - \mu_0}{\sqrt{s^2/n}} \right)$$ dove $T \sim t_{n-1}$ e se $p < \alpha$, rifiutiamo $H_0$ e affermare che ci sono prove per $H_1$.
Ora, ho fatto questa procedura per anni, e sono un po 'imbarazzato a chiederlo, dato che sono laureato in MS: ma esattamente perché avere$p < \alpha$ indicare incompatibilità con $H_0$ e prove per $H_1$? Matematicamente, tutto ciò che è alla fine della giornata è la probabilità che la tua variabile casuale$T$assume un valore almeno altrettanto estremo (in valore assoluto) di quello fornito dal campione. Ma non riesco a capire perché averlo fatto$p < \alpha$ indica che abbiamo prove da rifiutare $H_0$.
Forse questo potrebbe essere stato trattato in Casella e Berger e ho dimenticato i dettagli.
Risposte
Usiamo un'analogia.
Ti svegli confuso su che giorno è. Peggio ancora, non conosci nemmeno il mese, anche se hai la sensazione che potrebbe essere estate, ma vuoi che sia inverno (quindi$H_0: \text{summer}$ e $H_a: \text{winter}$). Non ti fidi del calendario sul tuo telefono, ma ti fidi dell'app meteo, quindi controlli la temperatura.
Vedi che l'app meteo segnala la temperatura come $-24^{\circ} C$.
Sai che essere così freddo o più freddo è molto improbabile durante l'estate, quindi rifiuti l'idea che sia estate a favore di concludere che è inverno.
In questa analogia, il valore critico dà sufficientemente piccolo $p <\alpha$ è la temperatura alla quale dubiteresti così tanto della tua sensazione che sia estate che potresti concludere: "No, inverno!"
Vedo sempre il valore p come un indicatore di un'anomalia: un'osservazione estrema improbabile (quanto improbabile, che è indicata dal valore p).
Non tutte le discrepanze tra la teoria nulla e l'osservazione sono un forte indicatore di incompatibilità con il nulla. A causa del rumore o di altre variazioni di misurazione, è prevedibile una certa discrepanza ed è probabile che si ottenga un'osservazione entro un certo intervallo.
Tuttavia, notevoli discrepanze al di fuori dell'intervallo probabile sono inattese. Tali discrepanze sono un indicatore che la teoria nulla potrebbe essere errata. Più inattesa è la discrepanza (minore è il valore p) più forte indica che la teoria nulla è incompatibile con le osservazioni.
Quando si verifica una teoria, osservando una discrepanza tra teoria e osservazione, in genere siamo interessati solo a discrepanze altamente improbabili.
A rigor di termini, qualsiasi valore p è una prova riguardo al$H_0$ vs. $H_1$domanda. Di solito si riduce al processo decisionale: dovresti agire (o pianificare le tue azioni future) supponendo che$H_0$ è vero, o dovresti tenere $H_1$per vero? In un campo empirico non puoi mai sapere con assoluta certezza, ma comunque, devi prendere la decisione in qualche modo.
Ora, è una questione diversa se la probabilità di per sé sia il criterio giusto per prendere quella decisione, ma supponiamo che lo sia. Quindi, impostando$\alpha$a un valore (solitamente 0,05) stai fondamentalmente stabilendo un confine decisionale: se il valore p è inferiore, decidi di agire come se$H_1$erano vere, perché è sufficientemente improbabile (sebbene ancora possibile) ottenere un valore così estremo di$T$ Se $H_0$ avevano ragione.
Per esempio:
Supponi di aver ordinato 1 milione di 1 k$\Omega$resistori da un produttore di componenti elettronici. A causa del processo di produzione, nessun resistore è esattamente 1 k$\Omega$, quindi la vera resistenza è una distribuzione casuale attorno a quel valore. Non hai le risorse per controllare da solo ogni resistenza, ma puoi prendere un campione, misurare la resistenza su di esso e fare le statistiche.
Se ottieni un valore p sufficientemente grande ,$p \gt \alpha$, si può dire:
Supponendo che la vera resistenza nella popolazione sia 1$k\Omega$, è ragionevolmente probabile disegnare un campione casuale la cui resistenza media devia almeno tanto quanto misurata da quel valore ideale. Accetterò la spedizione e inserirò le resistenze nel mio prodotto.
Questo non riesce a rifiutare $H_0$. D'altra parte, se il tuo valore p è inferiore al tuo$\alpha$, il tuo ragionamento è il seguente:
Supponendo che la vera resistenza nella popolazione sia 1$k\Omega$, è molto improbabile prendere un campione casuale la cui resistenza media devia almeno tanto quanto misurata da quel valore ideale. Quindi, la vera resistenza probabilmente non è 1$k\Omega$. Rifiuterò la spedizione, farò causa al produttore, cercherò uno più affidabile o altro, ma non userò queste resistenze nel mio prodotto, perché non funzionerà correttamente con componenti di dimensioni errate.
Questo è rifiutare $H_0$ a favore di $H_1$.