Membandingkan pengklasifikasi untuk prediksi klasifikasi multi-label

Aug 19 2020

Saya memiliki masalah klasifikasi multi-label (nilai prediksi kategoris: A, B, C, D) dan saya ingin menguji hipotesis nol bahwa tidak ada perbedaan yang signifikan antara pengklasifikasi, dan perbedaan akurasinya adalah kebetulan. Mari kita asumsikan hasil aktual, keluaran dari classifierA dan keluaran dari classifierB adalah sebagai berikut:

actual_outcome <- sample (LETTERS [1: 4], 1000, replace = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

classifierA <- sample (LETTERS [1: 4], 1000, replace = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

classifierB <- sample (LETTERS [1: 4], 1000, replace = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

Apakah mungkin untuk melakukan uji Korelasi Rank (rcorr.cens) dari paket Hmisc di R dengan variabel kategori? Pilihan lainnya adalah menggunakan tes Wilcoxon Signed Rank, tetapi masalah dengan tes ini adalah tes ini tidak memperhitungkan nilai aktual (atau respons deterministik yang benar).

Jawaban

mdewey Aug 20 2020 at 19:55

Jika Anda hanya tertarik pada akurasi diferensial dari dua pengklasifikasi yang saya sebut P dan Q karena kategori Anda sudah A, B, C, D maka pertimbangkan ini.

Kasus apa pun di mana P dan Q memberikan keluaran yang sama tidak informatif untuk keakuratan diferensial mereka meskipun jelas relevan untuk keakuratannya secara absolut. Jadi mereka bisa disingkirkan. Anda dapat menghapus observasi apa pun di mana baik P maupun Q tidak memberikan prediksi yang benar meskipun mereka memberikan prediksi yang berbeda karena itu juga tidak informatif untuk akurasi diferensial mereka. Anda sekarang hanya memiliki dua jenis pengamatan yang tersisa, yang mana P benar dan Q salah dan yang di mana Q benar dan P salah. Di bawah nol mereka harus equi-probable dan Anda dapat mengujinya dengan uji binomial.

Tentu saja jika A, B, C dan D pada kenyataannya diurutkan maka itu tidak akan berhasil tetapi dalam hal ini Anda memiliki masalah lain sama sekali.