Métricas de aprendizaje automático

Las métricas de aprendizaje automático se utilizan para evaluar el rendimiento de un modelo de aprendizaje automático en una tarea en particular. Hay muchos tipos diferentes de métricas de evaluación, y la elección de qué métrica utilizar depende de las características específicas de la tarea y el tipo de modelo que se utilice.

Algunas métricas clave incluyen:

Precisión: Esta es la métrica de evaluación más utilizada, y es simplemente la proporción de predicciones correctas realizadas por el modelo.

Accuracy= (Number of correct predictions) / (Total number of predictions)

Precision= (True positive) / (True positive + False positive)

Recall= (True positive) / (True positive + False negative)

F1 Score= 2 * (Precision * Recall) / (Precision + Recall)

La tasa de verdaderos positivos se calcula como:

TPR = (True positive) / (True positive + False negative)

FPR = (False positive) / (False positive + True negative)

MSE = (1/n) * Σ(Predicted - True)²

Error absoluto medio (MAE): esta métrica también se usa comúnmente para tareas de regresión y es una medida de la diferencia absoluta promedio entre los valores predichos y los valores reales.

MAE = (1/n) * Σ|Predicted - True|

Supongamos que estamos desarrollando un modelo de aprendizaje automático para predecir si un cliente abandonará (es decir, dejará de usar un servicio). Tenemos un conjunto de datos que contiene información sobre un grupo de clientes, incluidos sus datos demográficos, patrones de uso y si se han retirado. Entrenamos un modelo con estos datos y lo usamos para hacer predicciones en un conjunto de datos de prueba.

Para evaluar el rendimiento del modelo, podríamos usar varias métricas de evaluación diferentes. Por ejemplo, podríamos calcular la precisión del modelo contando el número de predicciones correctas que hizo (es decir, el número de veces que predijo correctamente si un cliente abandonaría) y dividiéndolo por el número total de predicciones. También podríamos calcular la precisión y la recuperación del modelo comparando las tasas de abandono previstas con las tasas de abandono reales en el conjunto de datos de prueba.

Otra opción podría ser trazar una curva AUC-ROC, que representa la tasa de verdaderos positivos (es decir, la proporción de abandonos reales que el modelo predijo correctamente) frente a la tasa de falsos positivos (es decir, la proporción de no abandonos que fueron predicho incorrectamente como churners). Se consideraría que un modelo con alta precisión y una puntuación AUC-ROC alta funciona bien.

Como gerente de producto en este caso, uno de sus objetivos (OKR) podría ser garantizar que el modelo logre un equilibrio entre minimizar los falsos positivos (es decir, predecir incorrectamente que un cliente abandonará) y maximizar la cantidad de predicciones positivas verdaderas (es decir, , prediciendo correctamente que un cliente abandonará).

Para alcanzar este objetivo, es necesario medir la precisión y el recuerdo, ya que estas métricas brindan información sobre la cantidad de falsos positivos y predicciones verdaderas positivas realizadas por el modelo.

La puntuación F1 se puede utilizar para realizar un seguimiento del progreso hacia el objetivo, ya que se calcula como el equilibrio entre precisión y recuperación, teniendo en cuenta tanto el número de falsos positivos como el número de predicciones positivas verdaderas.

Precision = (True positive) / (True positive + False positive)
Recall= (True positive) / (True positive + False negative)
F1 Score= 2 * (Precision * Recall) / (Precision + Recall)|