Разница в пропорциях двух выборок: почему оценка стандартной ошибки не является проблемой для нормальности?
Во-первых, это кажется очень распространенным вопросом, но я обещаю, что долгое время искал другие похожие сообщения и не нашел решения, которое, кажется, дает ответ. ( Это и это очень близки, но я не думаю, что ни один из них полностью отвечает на это!)
Я буду очень тщательно объяснять свое замешательство, сравнивая его сначала со случаем пропорции одного образца. Мы могли бы проверить, соответствует ли истинная пропорция$p$ равно некоторому значению $c$.
$H_0: p = c.$
$H_A: p \neq c.$
За $np$ и $n(1-p)$ достаточно большой, биномиальное приближение к нормали дает нам $\hat{p} \sim N(p, p(1-p)/n)$. Таким образом, когда мы вычисляем тестовую статистику,$Z := \frac{\hat{p} - c}{\sqrt{c(1-c)/n}}.$При нулевой гипотезе это распределяется как стандартное нормальное. Важно отметить, что мы не оцениваем стандартную ошибку - она определяется нулевой гипотезой!
Вместо этого мы рассмотрим случай с двумя выборками, где мы хотим запустить проверку гипотезы о разнице в пропорциях.
$H_0: p_1 - p_2 = 0.$
$H_A: p_1 - p_2 \neq 0.$
То же биномиальное приближение дает нам $\hat{p}_i \sim N(p_i, p_i(1-p_i)/n_i)$, $i=1,2$. Тогда, если$\tilde{p}$ объединенная доля ($\hat{p} = (x_1 + x_2)/(n_1+n_2)$), Я знаю, что наша тестовая статистика определяется выражением $Z := \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\tilde{p}(1-\tilde{p})(1/n_1 + 1/n_2)}}.$
Это важная часть, за которой я не следую. В случае с одной выборкой мы не оценивали стандартную ошибку - она определялась нулем. Следовательно, ссылка на стандартную нормальность имеет смысл. В случае с двумя выборками нам действительно нужно оценить стандартную ошибку, используя нашу объединенную долю! Итак, в принципе, не должны ли мы внести какие-то корректировки, чтобы отразить это? (То есть, как то, что мы делаем с t-тестом).
Итак, как я могу это объяснить? Почему мы все еще можем ссылаться на стандартную норму, даже если мы используем основанную на данных оценку ее стандартной ошибки?
Хотя вопрос аналогичен t-тесту, я понимаю, почему мы не можем просто использовать t-тест (у нас нет других допущений). Моя лучшая попытка дать ответ на данный момент проста:
«Да, мы оцениваем стандартную ошибку, но это приближение просто поглощается нашим исходным нормальным приближением к биному, потому что это в любом случае работает только при высоких степенях свободы»?
Есть ли лучшее объяснение этому? Интуитивно кажется, что потребуется некоторая корректировка, но мы ее не делаем.
Для краткого объяснения того, почему две ссылки, которые я процитировал, не совсем охватывают это ...
Ответ @glen_b очень хорош и ясно объясняет, почему теоретические предположения, необходимые для t-теста, здесь не выполняются. Однако я не думаю, что это объясняет именно эту проблему. В нем упоминаются как один, так и два выборочных теста пропорций, и меня беспокоит то, что они не чувствуют себя одинаковыми в этом отношении. Но это помогает понять мое лучшее предположение, приведенное выше, а именно, что для размеров выборки, достаточно больших для нашего приближения нормальности, оценка стандартной ошибки в основном не имеет значения.
Точно так же @whuber очень четко показывает (с графиками ), что распределение Стьюдента не лучше аппроксимирует нашу статистику теста (для среднего размера выборки), чем простое стандартное нормальное.
Итак, я понимаю, почему распределение Student-t здесь не лучший выбор. Но моя сохраняющаяся путаница проста: даже если ученик не является правильным решением, как лучше всего описать, почему мы не предлагаем здесь никаких корректировок? Я вижу, что один и два образца описываются одинаково - «это нормально, потому что дисперсия определяется средним». Но случаи кажутся совершенно разными: в одном мы оцениваем стандартную ошибку, в другом - нет. Является ли ответ простым: «если мы уже приближаем биномиальную разницу пропорций к нормальному, оценка стандартной ошибки тривиальна по сравнению с этим приближением, поэтому мы можем ее игнорировать»?
Ответы
Как и в ответе, на который вы ссылаетесь, вы снова используете теорему Слуцкого , в частности, третью (соотношение) форму по ссылке в Википедии.
Если вы напишете $Z_n$ в виде $X_n/Y_n$ где
$$X_n = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{p_0(1-p_0)(1/n_1 + 1/n_2)}}$$
$$Y_n = \frac{\sqrt{\tilde{p}(1-\tilde{p})}}{\sqrt{p_0(1-p_0)}}$$
где $p_0$ - это общая доля населения ниже нуля и $n_1$ и $n_2$ увеличиваются пропорционально * (или, в качестве альтернативы, позволяя $n$ быть меньшим из $n_1$ и $n_2$ вместо этого), то должна применяться теорема, и $Y_n$ сходится к $1$, таким образом $n\to\infty$ последовательность $Z_n$ сходится к тому же распределению $X_n$ делает (то есть к стандартному нормальному распределению).
* эта часть может быть формализована несколькими аналогичными способами, связав последовательность $n_1$ и $n_2$ ценности для $n$ удерживая их пропорционально