Почему маленький $p$-значение указывает на несовместимость с нулем?
Возьмем, в качестве простого примера, двустороннюю одностороннюю проверку гипотезы на среднем генеральной совокупности. Предположим, мы определили$\alpha$-уровень априори.
Позволять $X_1, \dots, X_n \overset{\text{iid}}{\sim}\mathcal{N}(\mu, \sigma^2)$. В этой настройке, учитывая значение$\mu_0$, имеем нулевую и альтернативную гипотезы $H_0: \mu = \mu_0$ и $H_1: \mu \neq \mu_0$.
Позволять $\bar{X}_n$ быть выборочным средним $X_1, \dots, X_n$ и $S^2$ быть объективным оценщиком $\sigma^2$, с участием $\bar{x}_n$ и $s^2$ являющиеся наблюдаемыми значениями.
Мы знаем это $$\dfrac{\bar{X}_n - \mu}{\sqrt{S^2/n}} \sim t_{n-1}$$ т.е. $t$-распространение с $n-1$степени свободы. Под$H_0$у нас есть это $$\dfrac{\bar{X}_n - \mu_0}{\sqrt{S^2/n}} \sim t_{n-1}\text{.}$$ Затем мы вычисляем $p$-значение $$p = \mathbb{P}\left(|T| \geq \dfrac{\bar{x}_n - \mu_0}{\sqrt{s^2/n}} \right)$$ где $T \sim t_{n-1}$ и если $p < \alpha$, мы отвергаем $H_0$ и заявить, что есть доказательства $H_1$.
Я делал эту процедуру годами, и мне немного неловко спросить об этом, учитывая, что у меня есть степень MS: но почему именно наличие$p < \alpha$ указать на несовместимость с $H_0$ и доказательства для $H_1$? Математически все, что в конце дня - это вероятность того, что ваша случайная величина$T$принимает значение, по крайней мере, такое же экстремальное (по абсолютной величине), как то, которое дает образец. Но я не понимаю, почему$p < \alpha$ указывает на то, что у нас есть доказательства для отклонения $H_0$.
Возможно, об этом рассказывали Казелла и Бергер, а я забыл подробности.
Ответы
Воспользуемся аналогией.
Вы просыпаетесь, не зная, какой сегодня день. Хуже того, вы даже не знаете месяц, хотя у вас есть подозрение, что сейчас лето, но вы хотите, чтобы это было зимой (так что$H_0: \text{summer}$ и $H_a: \text{winter}$). Вы не доверяете календарю на телефоне, но доверяете приложению погоды, поэтому проверяете его температуру.
Вы видите, что приложение погоды сообщает температуру как $-24^{\circ} C$.
Вы знаете, что летом вряд ли будет так холодно или холоднее, поэтому вы отвергаете идею о том, что сейчас лето, в пользу заключения, что сейчас зима.
По этой аналогии критическое значение, дающее достаточно малое $p <\alpha$ это температура, при которой вы настолько сомневаетесь в своем догадке, что сейчас лето, что вы можете заключить: «Нет, зимнее время!»
Я всегда рассматриваю p-значение как индикатор аномалии: маловероятное экстремальное наблюдение (насколько маловероятно, на это указывает p-значение).
Не все расхождения между нулевой теорией и наблюдением являются сильным показателем несовместимости с нулевой теорией. Из-за шума или других вариаций измерения следует ожидать некоторого расхождения, и, вероятно, будет наблюдаться в некотором диапазоне.
Однако большие расхождения за пределами вероятного диапазона являются неожиданными. Такие несоответствия - показатель того, что нулевая теория может быть неверной. Чем более неожиданным является расхождение (чем ниже значение p), тем сильнее оно указывает на несовместимость нулевой теории с наблюдениями.
При проверке теории, рассматривая расхождения между теорией и наблюдением, нас обычно интересуют только весьма маловероятные расхождения.
Строго говоря, любой р -значение является некоторые факты , свидетельствующие о$H_0$ vs. $H_1$вопрос. Обычно все сводится к принятию решения: следует ли вам действовать (или планировать свои будущие действия), исходя из того, что$H_0$ правда, или вы должны держать $H_1$правда? В эмпирической области вы никогда не сможете узнать с абсолютной уверенностью, но, тем не менее, вам нужно как-то принять решение.
Теперь другой вопрос, является ли вероятность сама по себе правильным критерием для принятия этого решения, но давайте предположим, что это так. Затем, установив$\alpha$до некоторого значения (обычно 0,05) вы в основном устанавливаете границу принятия решения: если значение p ниже этого значения, вы решаете действовать так, как если бы$H_1$были правдой, потому что это достаточно маловероятно (хотя все еще возможно), чтобы получить такое экстремальное значение$T$ если $H_0$ был прав.
Например:
Предположим, вы заказали 1 миллион из 1 тыс.$\Omega$резисторы от производителя электронных компонентов. Из-за производственного процесса нет резистора ровно 1 кОм.$\Omega$, поэтому истинное сопротивление - это некоторое случайное распределение вокруг этого значения. У вас нет ресурсов, чтобы проверить каждый резистор самостоятельно, но вы можете взять образец, измерить на нем сопротивление и провести статистику.
Если вы получите достаточно большое значение p ,$p \gt \alpha$, ты можешь сказать:
Предполагая, что истинное сопротивление в популяции равно 1$k\Omega$, вполне вероятно построить случайную выборку , среднее сопротивление которой отклоняется по крайней мере настолько, насколько измерено от этого идеального значения. Я приму посылку и встраиваю резисторы в свой продукт.
Это не удается отклонить $H_0$. С другой стороны, если ваше значение p ниже вашего$\alpha$, ваши рассуждения следующие:
Предполагая, что истинное сопротивление в популяции равно 1$k\Omega$, очень маловероятно взять случайный образец , среднее сопротивление которого отклоняется по крайней мере настолько, насколько измерено от этого идеального значения. Следовательно, истинное сопротивление скорее всего не 1$k\Omega$. Я откажусь от поставки, подам в суд на производителя, поищу более надежный или что-то еще, но я не буду использовать эти резисторы в своем продукте, потому что он не будет работать должным образом с компонентами неправильного размера.
Это отклонение $H_0$ в пользу $H_1$.