Mendefinisikan kelebihan dari statistik pengujian dan mendefinisikan $p$-nilai untuk tes dua sisi
Definisi tag kami dari $p$-value mengatakan
Dalam pengujian hipotesis frequentist, file $p$-nilai adalah probabilitas hasil sebagai ekstrem (atau lebih) daripada hasil pengamatan, dengan asumsi bahwa hipotesis nol benar.
Tetapi bagaimana kita mendefinisikan apa yang lebih ekstrim ? Dalam "Dialog Antara Guru dan Siswa yang Bijaksana" , @whuber menunjukkan bahwa ekstrem dapat didefinisikan dengan rasio kemungkinan di bawah$H_0$ vs. $H_1$ (atau $H_A$ dalam notasi aslinya), $LR=\frac{P(data|H_1)}{P(data|H_0)}$. Semakin besar LR, semakin ekstrim hasilnya. Sejauh ini bagus.
Dalam contoh @ whuber, $H_0$adalah satu-sisi , dan begitu juga$H_1$. Maka tidak terlalu sulit untuk menemukan wilayah nilai statistik uji mana yang menghasilkan LR terbesar. Jadi kami memiliki sedikit masalah konseptual dalam menemukan$p$-nilai; kami hanya mengintegrasikan area di bawah distribusi nol untuk semua kemungkinan nilai statistik uji yang sama atau lebih ekstrim (memiliki LR yang sama atau lebih besar) daripada nilai yang diamati.
Namun, tidak begitu jelas kapan$H_1$adalah dua sisi , seperti dua sisi$t$-uji. Sedangkan ekor kiri dari distribusi nol akan menghasilkan LR terbesar sebagai alternatif di sebelah kiri dari nilai yang dihipotesiskan di$H_0$, Ekor kiri tidak akan sama sekali menjadi ekstrim alternatif ke kanan dari$H_0$; pada kenyataannya, justru sebaliknya yang ekstrim. Masalahnya, kedua alternatif itu milik$H_1$.
T: Bagaimana kita menghadapi situasi seperti itu? Apa cara berprinsip untuk mendefinisikan ekstremen ketika tingkat LR yang bertentangan dapat muncul di bawah contoh yang berbeda di dalamnya$H_1$?
PS Saya sebelumnya telah mengajukan pertanyaan terkait apakah$p$-nilai tergantung pada alternatifnya. Saya belajar itu dengan menggunakan definisi modern (pasca Fisher) dari file$p$-nilai, itu benar.
Jawaban
Selain skenario dalam uji dua sisi, pertanyaan ini muncul dengan cara yang kurang dapat dihindari dalam uji klinis sekuensial kelompok.
Dalam uji coba sekuensial kelompok, terdapat sekumpulan waktu analisis, dan batas penghentian yang menentukan ambang batas pada setiap analisis untuk menghentikan uji coba. Dalam menghitung$p$-values atau interval kepercayaan perlu untuk menentukan urutan hasil yang mungkin. Misalnya, jika Anda berhenti pada waktu 2 dari 4 dengan a$Z$-skor 3, bagaimana jika dibandingkan dengan berhenti pada waktu 3 dengan a $Z$-score dari 2,5?
Di antara urutan yang sebenarnya diusulkan adalah
- memesan berdasarkan besarnya perbedaan
- memesan berdasarkan waktu, sehingga berhenti di waktu yang lebih awal lebih ekstrim daripada berhenti di lain waktu
Ini adalah pilihan yang tulus; orang yang berbeda secara sah dapat memilih urutan yang berbeda. Pengurutan berdasarkan besarnya perbedaan cenderung mengarah pada interval kepercayaan yang lebih sempit, nilai-p yang lebih akurat, dan bias yang lebih sedikit, tetapi ini meningkatkan sensitivitas analisis terhadap waktu (tidak dapat diamati) di mana analisis masa depan dari uji coba yang dihentikan akan terjadi.
( Referensi : kursus singkat oleh Kittleson dan Gillen)
Mendefinisikan ekstremen dari statistik uji dan menentukan nilai-p untuk uji dua sisi ...
Saya akan menyarankan bahwa perspektif yang sesuai di sini adalah, ketika seseorang memiliki statistik yang "benar", statistik itu sendiri memberi tahu Anda apa arti "ekstremeness" untuk masalah pengujian yang ada - satu sisi atau dua sisi. Oleh karena itu, pertanyaan yang lebih mendasar adalah apakah statistik yang "benar" itu. Masalah pengujian adalah kasus khusus masalah pengoptimalan --- Anda ingin memaksimalkan daya sesuai batasan ukuran. Jadi ini berarti mendefinisikan konsep solusi yang "benar".
Misalnya, menemukan tes paling kuat untuk soal tes dengan alternatif sederhana vs nol sederhana adalah kasus khusus dari program linier: $$ \sup_{0 \leq \phi \leq 1, \, \\ \\ \int \phi(\omega) f_0(\omega) d\mu \leq \alpha} \int \phi(\omega) f_1(\omega) d\mu. $$ Ini adalah fakta umum bahwa solusi $\phi^*$untuk program semacam itu mengambil bentuk $$ \phi^* = \begin{cases} 1 & \text{if } f_1 \geq k f_0 \\ 0 & \text{if } f_1 \geq k f_0, \end{cases} $$ untuk beberapa $k$. Dalam konteks masalah tes, interpretasi alami kemudian ditolak ketika statistik rasio kemungkinan$\frac{f_1}{f_0}$ lebih besar dari $k$.
(Disarankan di komentar bahwa ambang batas $k$ditafsirkan sebagai "harga bayangan" dari batasan ukuran. Rupanya terminologi ini dipinjam dari ilmu ekonomi.$k$adalah pengali masalah Kuhn-Tucker-Lagrange. Untuk solusi interior, biasanya orang akan mengatakan jika$\alpha$--- anggaran, dalam masalah ekonomi --- dilonggarkan $\epsilon$, kekuatan pengujian meningkat $k \epsilon$. Penafsiran ini, bagaimanapun, tidak benar-benar berlaku untuk program linier secara umum.)
Demikian pula, menemukan tes paling kuat dari komposit nol vs. jumlah alternatif sederhana untuk menyelesaikan program linier. Solusi untuk program ganda yang sesuai memberi tahu kita bahwa statistik yang paling kuat adalah statistik rasio kemungkinan sehubungan dengan Bayesian yang paling tidak disukai sebelum nol. (Kasus nol sederhana adalah kasus khusus, dengan trivial prior.)
Pengujian dengan alternatif satu sisi untuk model dengan properti rasio kemungkinan monoton (MLR) tentu saja adalah contoh lain. MLR berarti model tersebut menerima peringkat rasio kemungkinan yang tidak berubah sehubungan dengan data$\omega$. Jadi uji rasio kemungkinan adalah tes yang paling kuat, hampir dengan asumsi.
Untuk alternatif dua sisi, mis $\Gamma_0 = \{\gamma_0\}$ dan $\Gamma_1 = (-\infty,\gamma_0)\cup (\gamma_0, \infty)$ untuk kepadatan normal yang diukur dengan mean $\gamma \in \mathbb{R}$, tes terkuat tidak ada secara umum. Oleh karena itu, statistik yang tepat perlu ditentukan oleh beberapa kriteria lain - misalnya, seseorang dapat mencari pengujian yang paling kuat secara lokal .
Sebuah tes $\phi^*$ adalah tes yang paling kuat secara lokal jika untuk tes lainnya $\phi$, ada lingkungan terbuka $N_{\gamma_0, \phi}$ hipotesis nol seperti itu $\phi^*$ memiliki kekuatan seragam yang lebih tinggi dari $\phi$ di $N_{\gamma_0, \phi}$. Kondisi optimalitas orde pertama yang sesuai memberikan kriteria$$ \phi^* = \begin{cases} 1 & \text{if } \frac{\partial^2}{\partial \gamma^2}f_{\gamma_0} \geq k_1 \frac{\partial}{\partial \gamma} f_{\gamma_0} + k_2 f_{\gamma_0} \\ 0 & \text{if } \frac{\partial^2}{\partial \gamma^2}f_{\gamma_0} < k_1 \frac{\partial}{\partial \gamma} f_{\gamma_0} + k_2 f_{\gamma_0} \end{cases} $$ untuk beberapa $k_1$ dan $k_2$. Mengganti kerapatan normal ke dalam ekspresi di atas, kita mendapatkan itu$\phi^*$ menolak kapan $|x- \gamma_0|$ besar --- tes dua sisi.