Cómo evaluar Learning to Rank Models

Mi artículo anterior explicaba las tres metodologías principales para abordar el aprendizaje de los problemas de clasificación. En este artículo, nos centraremos en cómo evaluar un modelo LTR. Empecemos.

Tenemos algunas selecciones para evaluar el modelo LTR. Sin embargo, estas opciones varían del enfoque que estamos usando. Deberíamos usar métricas de relevancia binaria si el objetivo es asignar una puntuación de relevancia binaria a cada documento. Deberíamos usar la relevancia graduada si el objetivo es establecer una puntuación de relevancia para cada documento en una escala continua. Analicemos los tres tipos de matrices de evaluación ampliamente utilizados.

Precisión media media (MAP)

Calcular MAP para resultados clasificados puede ser complicado y, a menudo, confuso. Demos un pequeño paso a la vez que se muestra a continuación.

MAP tiene algunos inconvenientes potenciales,

1. No considera la clasificación de los elementos recuperados, solo la presencia o ausencia de documentos relevantes.
2. Puede que no sea apropiado para conjuntos de datos donde la relevancia de los elementos no es binaria, ya que no considera el grado de relevancia de un elemento.

Rango recíproco medio (MRR)

Una métrica de evaluación sencilla.

Un inconveniente potencial de MRR es que considera solo el primer documento relevante para la consulta dada.

Ganancia acumulada descontada normalizada (NDCG)

Esta es la métrica de evaluación más común e ideal para la mayoría de los casos de uso. Da cuenta tanto de la relevancia como de la posición de los resultados. Puede asignar una puntuación más alta para resultados muy relevantes y aparece en la parte superior de la lista.

Si considera la ecuación DCG, el numerador aumenta cuando la relevancia del documento es alta; el denominador aumenta cuando aumenta la posición del documento. En conjunto, el valor de DCG aumentará cuando los elementos altamente relevantes se clasifiquen más alto.

Evaluando el modelo LTR a mano

Supongamos que tenemos dos consultas, q1 y q2, y nuestro modelo LTR devuelve dos listas de documentos por cada consulta, respectivamente. ( Tenga en cuenta el orden de los documentos)

q1 → (d1,d2,d3)
q2 → (d4,d5,d6)

Además, según las etiquetas de verdad del terreno, notamos que solo d1, d5 y d6 son relevantes para las dos consultas dadas.

Calculemos cada métrica de evaluación discutida anteriormente.

• Calcular el MAPA

Sustituyamos los valores relacionados con la consulta q1,

Y lo mismo para q2.

Finalmente, podemos obtener el MAP para los pares de consulta de documento dados, como se muestra a continuación.

Tenga en cuenta que si cambia el orden de d5 y d6, seguirá obteniendo el mismo valor de MAP para la consulta q2 , ya que esto no puede tener en cuenta el rango en el cálculo.

• Calcular el MAR

• Calcular el NDCG (para la consulta q2)

Paso 01: Calcular el DCG(q2)

Paso 02: Calcular el IDCG(q2)

Paso 03: Calcular el NDCG(q2)

Siguiente en la serie: Cómo implementar el aprendizaje para clasificar el modelo usando Python

Conclusión

Hay otras métricas de evaluación para evaluar los modelos LTR. Pero aquí, he explicado las métricas ampliamente utilizadas. Pero elegir la métrica de evaluación correcta a menudo puede ser complicado. Porque depende en gran medida del conjunto de datos (principalmente la etiqueta de destino) y el problema que estamos abordando.

¡Gracias por leer!