Comparación de clasificadores para predicciones de clasificación de etiquetas múltiples

Aug 19 2020

Tengo un problema de clasificación de etiquetas múltiples (valores predichos categóricos: A, B, C, D) y quiero probar la hipótesis nula de que no hay una diferencia significativa entre los clasificadores, y la diferencia en la precisión es por casualidad. Supongamos que el resultado real, el resultado del clasificadorA y el resultado del clasificadorB son los siguientes:

resultado_real <- muestra (LETRAS [1: 4], 1000, reemplazar = VERDADERO, problema = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

clasificadorA <- muestra (LETRAS [1: 4], 1000, reemplazar = VERDADERO, prob = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

clasificadorB <- muestra (LETRAS [1: 4], 1000, reemplazar = VERDADERO, problema = c (0.1, 0.2, 0.65, 0.05))%>% as.data.frame ()

¿Es posible hacer una prueba de correlación de rango (rcorr.cens) del paquete Hmisc en R con variables categóricas? La otra opción es utilizar la prueba de rango con signo de Wilcoxon, pero el problema con esta prueba es que no tiene en cuenta los valores reales (o las respuestas correctas deterministas).

Respuestas

mdewey Aug 20 2020 at 19:55

Si está puramente interesado en la precisión diferencial de dos clasificadores a los que llamaré P y Q, dado que sus categorías ya son A, B, C, D, considere esto.

Cualquier caso en el que P y Q den la misma salida no es informativo por su precisión diferencial, aunque obviamente es relevante por su precisión en términos absolutos. Para que puedan eliminarse. Puede eliminar cualquier observación en la que ni P ni Q dieron la predicción correcta, incluso si dieron diferentes, ya que eso tampoco es informativo para su precisión diferencial. Ahora solo te quedan dos tipos de observaciones, unas en las que P es correcta y Q incorrecta y otras en las que Q es correcta y P es incorrecta. Bajo el valor nulo, deberían ser equi-probables y puedes probarlo con una prueba binomial.

Por supuesto, si A, B, C y D están ordenados de hecho, eso no funciona, pero en ese caso tiene otros problemas por completo.