Confronto di classificatori per previsioni di classificazione multi-etichetta

Question

Ho un problema di classificazione multi-etichetta (valori predetti categoriali: A, B, C, D) e voglio testare l'ipotesi nulla che non ci sia differenza significativa tra i classificatori e la differenza nell'accuratezza è casuale. Supponiamo che il risultato effettivo, l'output di classifierA e l'output di classifierB siano i seguenti:

actual_outcome <- sample (LETTERS [1: 4], 1000, replace = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

classifierA <- sample (LETTERS [1: 4], 1000, replace = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

classificatoreB <- sample (LETTERS [1: 4], 1000, replace = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

È possibile eseguire un test di correlazione di rango (rcorr.cens) dal pacchetto Hmisc in R con variabili categoriali? L'altra opzione è utilizzare il test Wilcoxon Signed Rank, ma il problema con questo test è che non prende in considerazione i valori effettivi (o le risposte corrette deterministiche).

Answer 1

Se sei puramente interessato alla precisione differenziale di due classificatori che chiamerò P e Q poiché le tue categorie sono già A, B, C, D, allora considera questo.

Ogni caso in cui P e Q danno lo stesso output non è informativo per la loro accuratezza differenziale sebbene ovviamente sia rilevante per la loro accuratezza in termini assoluti. Quindi possono essere rimossi. È possibile rimuovere qualsiasi osservazione in cui né P né Q hanno fornito la previsione corretta anche se ne hanno fornite di diverse in quanto anche questa non è informativa per la loro accuratezza differenziale. Ora hai solo due tipi di osservazione rimanenti, quelli in cui P è giusto e Q sbagliato e quelli in cui Q è giusto e P è sbagliato. Sotto lo zero dovrebbero essere equi-probabili e puoi verificarlo con un test binomiale.

Ovviamente se A, B, C e D sono in effetti ordinati, allora non funziona, ma in quel caso hai altri problemi.