Diferencia de proporciones de dos muestras: ¿Por qué estimar el error estándar no es un problema para la normalidad?
Primero, esta parece una pregunta muy común, pero prometo que he buscado durante mucho tiempo en otras publicaciones similares y no he encontrado una solución que parezca dar una respuesta. (¡ Esto y esto se acercan mucho, pero no creo que ninguno de los dos responda!).
Seré muy completo al explicar mi confusión, comparándola primero con el caso de la proporción de una muestra. Podríamos probar si la verdadera proporción$p$ es igual a algún valor $c$.
$H_0: p = c.$
$H_A: p \neq c.$
por $np$ y $n(1-p)$ suficientemente grande, la aproximación binomial a la normal nos da $\hat{p} \sim N(p, p(1-p)/n)$. Por lo tanto, cuando calculamos la estadística de prueba,$Z := \frac{\hat{p} - c}{\sqrt{c(1-c)/n}}.$Bajo la hipótesis nula, esto se distribuye como normal estándar. Fundamentalmente, estamos no la estimación de la norma de errores se determina por la hipótesis nula!
Ahora, en cambio, consideramos el caso de dos muestras, donde queremos ejecutar una prueba de hipótesis sobre la diferencia en proporciones.
$H_0: p_1 - p_2 = 0.$
$H_A: p_1 - p_2 \neq 0.$
La misma aproximación binomial nos da $\hat{p}_i \sim N(p_i, p_i(1-p_i)/n_i)$, $i=1,2$. Entonces sí$\tilde{p}$ es la proporción combinada$\hat{p} = (x_1 + x_2)/(n_1+n_2)$), Sé que nuestra estadística de prueba viene dada por $Z := \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\tilde{p}(1-\tilde{p})(1/n_1 + 1/n_2)}}.$
Esta es la parte crucial que no sigo. En el caso de una muestra, no estimamos el error estándar, fue determinado por el valor nulo. Por lo tanto, tiene sentido citar la normal estándar. En el caso de dos muestras, que sí tenemos que estimar el error estándar, utilizando nuestra proporción agrupada! Entonces, básicamente, ¿no deberíamos tener que hacer algún tipo de ajuste para reflejar esto? (Es decir, como lo que hacemos con una prueba t).
Entonces, ¿cómo puedo explicar esto? ¿Por qué aún podemos citar la normal estándar, aunque estemos usando una estimación basada en datos para su error estándar?
Si bien la pregunta es análoga a la de una prueba t, entiendo por qué no podemos simplemente usar una prueba t (no cumplimos las otras suposiciones). Mi mejor intento de respuesta hasta ahora es simplemente:
"Sí, estamos estimando el error estándar, pero esa aproximación es simplemente absorbida por nuestra aproximación normal original al binomio, porque de todos modos eso solo funciona con altos grados de libertad".
¿Hay una mejor explicación que esa? Parece intuitivo que sería necesario algún ajuste, pero no lo hacemos.
Para una breve explicación de por qué los dos enlaces que cité, sentí que no cubrían completamente esto ...
La respuesta de @glen_b es muy buena y explica claramente por qué las suposiciones teóricas requeridas para una prueba t no se cumplen aquí. Sin embargo, no veo que explique exactamente este problema. Menciona pruebas de proporción de una y dos muestras, y mi confusión es que no sienten que sean iguales en este frente. Pero esto ayuda a informar mi mejor suposición anterior, que es que para tamaños de muestra lo suficientemente grandes para nuestra aproximación de normalidad, estimar el error estándar es básicamente irrelevante.
De manera similar, @ whuber muestra muy claramente (con gráficos) cómo la distribución t de student no se aproxima mejor a nuestra estadística de prueba (para un tamaño de muestra moderado) que la normal estándar simple.
Entonces, entiendo por qué la distribución Student-t no es una mejor opción aquí. Pero mi confusión persistente es simple: incluso si el estudiante-t no es la solución correcta, ¿cuál es la mejor manera de describir por qué no proporcionamos ningún tipo de ajuste aquí? Veo el caso de una muestra y dos de muestra descritos de manera equivalente: "es normal porque la varianza está determinada por la media". Pero los casos parecen bastante diferentes: en uno, estimamos el error estándar, en el otro, no. ¿Es la respuesta simplemente "una vez que ya estamos aproximando la diferencia de proporción binomial con una normal, la estimación del error estándar es trivial en relación con esa aproximación, así que podemos ignorarla"?
Respuestas
Como en la respuesta a la que enlaza, vuelve a utilizar el teorema de Slutsky , específicamente la tercera forma (proporción) en el enlace de Wikipedia.
Si tú escribes $Z_n$ como $X_n/Y_n$ dónde
$$X_n = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{p_0(1-p_0)(1/n_1 + 1/n_2)}}$$
$$Y_n = \frac{\sqrt{\tilde{p}(1-\tilde{p})}}{\sqrt{p_0(1-p_0)}}$$
dónde $p_0$ es la proporción de población común bajo el nulo y $n_1$ y $n_2$ aumentar proporcionalmente * (o, alternativamente, dejando $n$ ser el más pequeño de $n_1$ y $n_2$ en su lugar) entonces el teorema debería aplicarse, y $Y_n$ converge a $1$, así como $n\to\infty$ la secuencia $Z_n$ converge a la misma distribución $X_n$ hace (es decir, a la distribución normal estándar).
* Esta parte podría formalizarse, de varias formas posibles similares, relacionando una secuencia de $n_1$ y $n_2$ valores a $n$ mientras los mantiene en proporción