Differenza di due campioni nelle proporzioni: perché la stima dell'errore standard non è un problema per la normalità?
Innanzitutto, questa sembra una domanda molto comune, ma prometto di aver cercato a lungo in altri post simili e di non aver trovato una soluzione che sembra fornire una risposta. ( Questo e questo si avvicinano molto, ma non credo che neppure rispondano bene!)
Sarò molto accurato nello spiegare la mia confusione, confrontandola prima con il caso della proporzione di un campione. Potremmo verificare se la proporzione reale$p$ è uguale a un valore $c$.
$H_0: p = c.$
$H_A: p \neq c.$
Per $np$ e $n(1-p)$ sufficientemente grande, l'approssimazione binomiale alla normale ci dà $\hat{p} \sim N(p, p(1-p)/n)$. Pertanto, quando calcoliamo la statistica del test,$Z := \frac{\hat{p} - c}{\sqrt{c(1-c)/n}}.$Nell'ipotesi nulla questo è distribuito come normale standard. Fondamentalmente, stiamo non stimare l'errore standard-è determinato dalla ipotesi nulla!
Consideriamo ora invece il caso a due campioni, dove vogliamo eseguire un test di ipotesi sulla differenza di proporzioni.
$H_0: p_1 - p_2 = 0.$
$H_A: p_1 - p_2 \neq 0.$
La stessa approssimazione binomiale ci dà $\hat{p}_i \sim N(p_i, p_i(1-p_i)/n_i)$, $i=1,2$. Allora, se$\tilde{p}$ è la proporzione aggregata ($\hat{p} = (x_1 + x_2)/(n_1+n_2)$), So che la nostra statistica del test è data da $Z := \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\tilde{p}(1-\tilde{p})(1/n_1 + 1/n_2)}}.$
Questa è la parte cruciale che non seguo. Nel caso di un campione, non abbiamo stimato l'errore standard: è stato determinato dal valore nullo. Quindi, citare lo standard normale ha senso. Nel caso due campioni, noi facciamo dobbiamo stimare l'errore standard, usando la nostra quota in pool! Quindi, fondamentalmente, non dovremmo fare una sorta di aggiustamento per riflettere questo? (Cioè, come quello che facciamo con un t-test).
Allora, come posso spiegarlo? Perché possiamo ancora citare lo standard normale, anche se stiamo usando una stima basata sui dati per il suo errore standard?
Sebbene la domanda sia analoga a quella di un test t, capisco perché non possiamo semplicemente usare un test t (non abbiamo soddisfatto le altre ipotesi). Il mio miglior tentativo di una risposta finora è semplicemente:
"Sì, stiamo stimando l'errore standard, ma questa approssimazione è solo inghiottita dalla nostra approssimazione normale originale al binomio, perché comunque funziona solo ad alti gradi di libertà"?
C'è una spiegazione migliore di quella? Sembra intuitivo che siano necessari alcuni aggiustamenti, ma non ne facciamo uno.
Per una breve spiegazione del motivo per cui i due link che ho citato sembravano non coprire completamente questo ...
La risposta di @glen_b è molto buona e spiega chiaramente perché i presupposti teorici richiesti per un test t non sarebbero validi qui. Tuttavia, non vedo che spieghi questo problema esatto. Menziona sia uno che due test di proporzione campione, e la mia confusione è che non si sentono come se fossero gli stessi su questo fronte. Ma questo aiuta a formulare la mia ipotesi migliore sopra, che è che per dimensioni del campione abbastanza grandi per la nostra approssimazione di normalità, la stima dell'errore standard è fondamentalmente irrilevante.
Allo stesso modo, @ whuber mostra molto chiaramente (con grafici) come la distribuzione t di studente non si avvicini alla nostra statistica del test meglio (per una dimensione moderata del campione) rispetto alla normale normale standard.
Quindi, capisco perché la distribuzione student-t non sia una scelta migliore qui. Ma la mia persistente confusione è semplicemente: anche se lo studente-t non è la soluzione giusta, qual è il modo migliore per descrivere il motivo per cui non forniamo alcun tipo di adattamento qui? Vedo il caso di un campione e di due campioni descritti in modo equivalente: "è normale perché la varianza è determinata dalla media". Ma i casi sembrano abbastanza diversi: in uno stimiamo l'errore standard, nell'altro no. La risposta è semplicemente "una volta che stiamo già approssimando la differenza di proporzione binomiale con una normale, la stima dell'errore standard è banale rispetto a tale approssimazione, quindi possiamo ignorarla"?
Risposte
Come nella risposta a cui ti colleghi, usi di nuovo il teorema di Slutsky , in particolare la terza forma (rapporto) sul link di Wikipedia.
Se scrivi $Z_n$ come $X_n/Y_n$ dove
$$X_n = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{p_0(1-p_0)(1/n_1 + 1/n_2)}}$$
$$Y_n = \frac{\sqrt{\tilde{p}(1-\tilde{p})}}{\sqrt{p_0(1-p_0)}}$$
dove $p_0$ è la proporzione di popolazione comune sotto i valori null e $n_1$ e $n_2$ aumentare proporzionalmente * (o, in alternativa, lasciando $n$ essere il più piccolo di $n_1$ e $n_2$ invece) allora dovrebbe essere applicato il teorema, e $Y_n$ converge a $1$, così come $n\to\infty$ la sequenza $Z_n$ converge alla stessa distribuzione $X_n$ fa (cioè alla distribuzione normale standard).
* questa parte potrebbe essere formalizzata, in diversi modi possibili simili, mettendo in relazione una sequenza di $n_1$ e $n_2$ valori a $n$ tenendoli in proporzione