Mengapa kecil $p$-nilai menunjukkan ketidakcocokan dengan null?
Mari kita ambil, sebagai contoh sederhana, uji hipotesis satu sampel dua arah pada mean populasi. Misalkan kita telah menentukan file$\alpha$-tingkat apriori.
Membiarkan $X_1, \dots, X_n \overset{\text{iid}}{\sim}\mathcal{N}(\mu, \sigma^2)$. Dalam pengaturan ini, diberi nilai$\mu_0$, kami memiliki hipotesis nol dan alternatif $H_0: \mu = \mu_0$ dan $H_1: \mu \neq \mu_0$.
Membiarkan $\bar{X}_n$ menjadi rata-rata sampel $X_1, \dots, X_n$ dan $S^2$ menjadi penaksir yang tidak bias $\sigma^2$, dengan $\bar{x}_n$ dan $s^2$ menjadi nilai yang diamati.
Kami tahu itu $$\dfrac{\bar{X}_n - \mu}{\sqrt{S^2/n}} \sim t_{n-1}$$ yaitu, a $t$-distribusi dengan $n-1$derajat kebebasan. Dibawah$H_0$, kami punya itu $$\dfrac{\bar{X}_n - \mu_0}{\sqrt{S^2/n}} \sim t_{n-1}\text{.}$$ Kemudian kami menghitung a $p$-nilai $$p = \mathbb{P}\left(|T| \geq \dfrac{\bar{x}_n - \mu_0}{\sqrt{s^2/n}} \right)$$ dimana $T \sim t_{n-1}$ dan jika $p < \alpha$, kami menolak $H_0$ dan nyatakan ada bukti untuk $H_1$.
Sekarang, saya telah melakukan prosedur ini selama bertahun-tahun, dan saya agak malu untuk menanyakan hal ini, mengingat saya memegang gelar MS: tetapi sebenarnya mengapa memiliki$p < \alpha$ menunjukkan ketidakcocokan dengan $H_0$ dan bukti untuk $H_1$? Secara matematis, yang ada di penghujung hari adalah probabilitas bahwa variabel acak Anda$T$mengambil nilai setidaknya sama ekstrimnya (dalam nilai absolut) daripada yang dihasilkan oleh sampel. Tapi saya gagal untuk melihat mengapa harus$p < \alpha$ menunjukkan bahwa kami memiliki bukti untuk ditolak $H_0$.
Mungkin ini mungkin telah tercakup dalam Casella dan Berger dan saya lupa detailnya.
Jawaban
Mari kita gunakan analogi.
Anda bangun dengan bingung tentang hari apa ini. Lebih buruk lagi, Anda bahkan tidak tahu bulannya, meskipun Anda memiliki firasat bahwa ini mungkin musim panas, tetapi Anda menginginkannya menjadi musim dingin (jadi$H_0: \text{summer}$ dan $H_a: \text{winter}$). Anda tidak mempercayai kalender di ponsel Anda, tetapi Anda mempercayai aplikasi cuaca, jadi Anda memeriksanya untuk suhunya.
Anda melihat bahwa aplikasi cuaca melaporkan suhu sebagai $-24^{\circ} C$.
Anda tahu bahwa menjadi dingin atau lebih dingin sangat tidak mungkin selama musim panas, jadi Anda menolak gagasan bahwa ini adalah musim panas dan menyimpulkan bahwa ini musim dingin.
Dalam analogi ini, pemberian nilai kritis cukup kecil $p <\alpha$ adalah suhu di mana Anda akan sangat meragukan firasat Anda bahwa ini adalah musim panas sehingga Anda akan menyimpulkan, "Tidak, musim dingin!"
Saya selalu melihat nilai-p sebagai indikator anomali: pengamatan ekstrem yang tidak mungkin (seberapa besar kemungkinannya, yang ditunjukkan oleh nilai-p).
Tidak semua perbedaan antara teori nol dan observasi merupakan indikator kuat ketidakcocokan dengan nol. Karena kebisingan atau variasi pengukuran lainnya, beberapa ketidaksesuaian diharapkan dan kemungkinan mendapatkan pengamatan dalam beberapa rentang.
Namun, perbedaan besar di luar kisaran kemungkinan tidak terduga. Perbedaan tersebut merupakan indikator bahwa teori nol mungkin salah. Perbedaan yang lebih tidak terduga (semakin rendah nilai p) semakin kuat itu menunjukkan bahwa teori nol tidak kompatibel dengan pengamatan.
Saat menguji teori, dengan melihat perbedaan antara teori dan observasi, kami biasanya hanya tertarik pada perbedaan yang sangat tidak mungkin.
Sebenarnya, nilai- p apa pun adalah beberapa bukti tentang$H_0$ vs. $H_1$pertanyaan. Ini biasanya bermuara pada pengambilan keputusan: Haruskah Anda bertindak (atau merencanakan tindakan masa depan Anda) dengan asumsi itu$H_0$ benar, atau harus Anda pegang $H_1$untuk benar? Dalam bidang empiris Anda tidak pernah bisa tahu dengan pasti, tapi tetap saja, Anda harus membuat keputusan bagaimanapun caranya.
Sekarang, ini adalah pertanyaan yang berbeda apakah probabilitas dengan sendirinya adalah kriteria yang tepat untuk membuat keputusan itu, tetapi mari kita asumsikan demikian. Kemudian, dengan pengaturan$\alpha$ke beberapa nilai (biasanya 0,05) Anda pada dasarnya menetapkan batas keputusan: Jika nilai- p di bawahnya, Anda memutuskan untuk bertindak seolah-olah$H_1$benar, karena sangat tidak mungkin (meskipun masih mungkin) untuk mendapatkan nilai yang sedemikian ekstrim$T$ jika $H_0$ benar.
Sebagai contoh:
Asumsikan Anda telah memesan 1 juta dari 1 k$\Omega$resistor dari produsen komponen elektronik. Karena proses pembuatannya, tidak ada resistor yang tepat 1 k$\Omega$, jadi resistansi sebenarnya adalah distribusi acak di sekitar nilai itu. Anda tidak memiliki sumber daya untuk memeriksa sendiri setiap resistor, tetapi Anda dapat mengambil sampel, mengukur resistansinya, dan melakukan statistik.
Jika Anda mendapatkan nilai- p yang cukup besar ,$p \gt \alpha$, Anda bisa mengatakan:
Dengan asumsi bahwa resistensi sebenarnya dalam populasi adalah 1$k\Omega$, sangat mungkin untuk menarik sampel acak yang resistansinya rata-rata menyimpang setidaknya sebesar yang diukur dari nilai ideal tersebut. Saya akan menerima pengiriman dan membangun resistor ke dalam produk saya.
Ini gagal untuk ditolak $H_0$. Di sisi lain, jika nilai- p Anda di bawah$\alpha$, alasan Anda adalah sebagai berikut:
Dengan asumsi bahwa resistensi sebenarnya dalam populasi adalah 1$k\Omega$, sangat tidak mungkin untuk mengambil sampel acak yang resistansinya rata-rata menyimpang setidaknya sebesar yang diukur dari nilai ideal tersebut. Oleh karena itu, resistensi sebenarnya kemungkinan besar bukan 1$k\Omega$. Saya akan menolak pengiriman, menuntut pabrikan, mencari yang lebih andal atau apa pun, tetapi saya tidak akan menggunakan resistor ini di produk saya, karena tidak akan berfungsi dengan baik dengan komponen berdimensi salah.
Ini menolak $H_0$ mendukung $H_1$.