Comparaison des classificateurs pour les prédictions de classification multi-étiquettes

Aug 19 2020

J'ai un problème de classification multi-étiquettes (valeurs prédites catégoriques: A, B, C, D) et je veux tester l'hypothèse nulle qu'il n'y a pas de différence significative entre les classificateurs et que la différence de précision est due au hasard. Supposons que le résultat réel, la sortie de classifierA et la sortie de classifierB sont les suivantes:

actual_outcome <- sample (LETTERS [1: 4], 1000, replace = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

classifierA <- sample (LETTERS [1: 4], 1000, replace = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

classifierB <- sample (LETTERS [1: 4], 1000, replace = TRUE, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

Est-il possible de faire un test de corrélation de rang (rcorr.cens) à partir du package Hmisc dans R avec des variables catégorielles? L'autre option consiste à utiliser le test Wilcoxon Signed Rank, mais le problème avec ce test est qu'il ne prend pas en compte les valeurs réelles (ou les réponses correctes déterministes).

Réponses

mdewey Aug 20 2020 at 19:55

Si vous êtes purement intéressé par la précision différentielle de deux classificateurs que j'appellerai P et Q puisque vos catégories sont déjà A, B, C, D alors considérez ceci.

Tout cas où P et Q donnent la même sortie n'est pas informatif pour leur précision différentielle, bien qu'il soit évidemment pertinent pour leur précision en termes absolus. Ainsi, ils peuvent être supprimés. Vous pouvez supprimer toute observation où ni P ni Q n'ont donné la bonne prédiction, même s'ils en ont donné des différentes, car cela n'est pas non plus informatif pour leur précision différentielle. Il ne vous reste plus que deux sortes d'observations, celles où P est vrai et Q faux et celles où Q est vrai et P est faux. Sous la valeur nulle, ils devraient être équi-probables et vous pouvez tester cela avec un test binomial.

Bien sûr, si A, B, C et D sont en fait ordonnés, cela ne fonctionne pas, mais dans ce cas, vous rencontrez d'autres problèmes.