Mengapa pengujian yang tepat lebih disukai daripada chi-squared untuk ukuran sampel yang kecil?
Saya sadar bahwa tes seperti tes pasti Fisher terkadang lebih disukai daripada chi-squared jika nilai yang Anda harapkan rendah dalam tabel kontingensi, ketika ingin menguji homogenitas kelompok (secara historis orang menyarankan 5 meskipun beberapa tampaknya berpikir ini konservatif) .
Namun saya tidak dapat menemukan penjelasan tentang mengapa khi-kuadrat tidak berfungsi dengan baik untuk ukuran sampel kecil. Karena itu saya punya 2 pertanyaan:
- Apa yang menyebabkan nilai yang diharapkan dalam tabel kontingensi menjadi kecil saat ukuran sampel berkurang? (Saya berasumsi di sini nilai yang diharapkan kecil adalah hasil dari ukuran sampel yang kecil).
- Mengapa uji chi-kuadrat tidak boleh digunakan untuk ukuran sampel yang kecil? Saya telah melihat orang mengatakan itu tidak cukup mendekati distribusi kai-kuadrat teoritis tetapi dapatkah seseorang menjelaskan mengapa / bagaimana tidak?
Jawaban
Dalam uji hipotesis klasik, Anda memiliki statistik uji yang mengurutkan bukti dari yang paling kondusif untuk hipotesis nol ke yang paling kondusif untuk hipotesis alternatif. (Tanpa kehilangan keumuman, anggaplah bahwa nilai yang lebih tinggi dari statistik ini lebih kondusif untuk hipotesis alternatif.) Nilai -p dari pengujian adalah probabilitas untuk mengamati bukti yang paling tidak kondusif untuk hipotesis alternatif seperti apa yang sebenarnya Anda amati ( statistik uji setidaknya sebesar nilai yang diamati) dengan asumsi bahwa hipotesis nol benar. Ini dihitung dari distribusi nol dari statistik uji, yang distribusinya di bawah asumsi bahwa hipotesis nol benar.
Sekarang, "tes eksak" adalah tes yang menghitung nilai p dengan tepat --- yaitu, tes ini menghitungnya dari distribusi nol sebenarnya dari statistik uji. Dalam banyak uji statistik, distribusi null sebenarnya rumit, tetapi dapat didekati oleh distribusi lain, dan menyatu dengan distribusi perkiraan tersebut sebagai$n \rightarrow \infty$. Secara khusus, yang disebut "pengujian chi-kuadrat" adalah pengujian hipotesis di mana distribusi nol yang sebenarnya menyatu dengan distribusi chi-kuadrat.
Jadi, dalam "uji kai kuadrat" semacam ini, saat Anda menghitung nilai p dari pengujian menggunakan distribusi kai kuadrat, ini hanyalah perkiraan ke nilai p sebenarnya . Nilai p sebenarnya dari pengujian diberikan oleh pengujian yang tepat, dan Anda memperkirakan nilai ini menggunakan distribusi nol yang mendekati dari statistik pengujian. Kapan$n$ Besar perkiraan ini sangat baik, tetapi kapan $n$kecil perkiraannya mungkin buruk. Untuk alasan ini, ahli statistik menyarankan agar tidak menggunakan "uji chi-kuadrat" (yaitu, menggunakan pendekatan chi-kuadrat ke distribusi nol yang sebenarnya) ketika$n$ kecil.
Tes chi-squared untuk independensi dalam tabel kontingensi: Sekarang saya akan memeriksa pertanyaan spesifik Anda dalam kaitannya dengan tes chi-squared untuk menguji independensi dalam tabel kontingensi. Dalam konteks ini, jika kita memiliki tabel kontingensi dengan jumlah yang diamati$O_1,...,O_K$ menjumlahkan $n \equiv \sum O_i$ maka statistik uji adalah statistik Pearson:
$$\chi^2 = \sum_{i=1}^K \frac{(O_i-E_i)^2}{E_i},$$
dimana $E_1,...,E_K$ adalah nilai sel yang diharapkan di bawah hipotesis nol.$^\dagger$ Hal pertama yang perlu diperhatikan di sini adalah hitungan yang diamati $O_1,...,O_K$adalah bilangan bulat non-negatif. Untuk apapun$n<\infty$ini membatasi nilai yang mungkin dari statistik uji ke sekumpulan nilai yang mungkin, sehingga distribusi nol sebenarnya akan menjadi distribusi diskrit pada kumpulan nilai yang terbatas ini. Perhatikan bahwa distribusi khi-kuadrat tidak bisa menjadi distribusi nol yang sebenarnya karena ini adalah distribusi berkelanjutan atas semua bilangan riil non-negatif --- sebuah kumpulan nilai tak hingga (tak terhitung).
Seperti dalam "uji chi-kuadrat" lainnya, distribusi nol dari statistik uji di sini didekati dengan baik oleh distribusi kai-kuadrat ketika $n$besar. Anda tidak benar untuk mengatakan bahwa ini adalah masalah kegagalan untuk "secara memadai mendekati distribusi khi-kuadrat teoretis" --- sebaliknya, distribusi kai-kuadrat teoretis adalah perkiraan , bukan distribusi nol yang sebenarnya. Pendekatan chi-squared bagus selama tidak ada nilai$E_1,...,E_K$kecil. Alasan nilai yang diharapkan ini kecil karena nilai yang rendah$n$ adalah saat Anda memiliki nilai cacah total yang rendah, Anda harus mengharapkan cacah setidaknya di beberapa sel menjadi rendah.
$^\dagger$Untuk analisis tabel kontingensi, jumlah sel yang diharapkan ini diperoleh dengan mengkondisikan total marjinal di bawah hipotesis nol tentang independensi. Kami tidak perlu membahas lebih jauh tentang nilai-nilai ini.