Metriche di apprendimento automatico

Le metriche di machine learning vengono utilizzate per valutare le prestazioni di un modello di machine learning su una particolare attività. Esistono molti tipi diversi di metriche di valutazione e la scelta di quale metrica utilizzare dipende dalle caratteristiche specifiche dell'attività e dal tipo di modello utilizzato.

Alcune metriche chiave includono:

Precisione: questa è la metrica di valutazione più comunemente utilizzata ed è semplicemente la proporzione di previsioni corrette fatte dal modello.

Accuracy= (Number of correct predictions) / (Total number of predictions)

Precision= (True positive) / (True positive + False positive)

Recall= (True positive) / (True positive + False negative)

F1 Score= 2 * (Precision * Recall) / (Precision + Recall)

Il tasso di veri positivi è calcolato come:

TPR = (True positive) / (True positive + False negative)

FPR = (False positive) / (False positive + True negative)

MSE = (1/n) * Σ(Predicted - True)²

Errore assoluto medio (MAE): questa metrica è comunemente utilizzata anche per le attività di regressione ed è una misura della differenza assoluta media tra i valori previsti e i valori reali.

MAE = (1/n) * Σ|Predicted - True|

Supponiamo di sviluppare un modello di apprendimento automatico per prevedere se un cliente abbandonerà (ovvero smetterà di utilizzare un servizio). Disponiamo di un set di dati contenente informazioni su un gruppo di clienti, inclusi i loro dati demografici, i modelli di utilizzo e se hanno abbandonato. Formiamo un modello su questi dati e lo usiamo per fare previsioni su un set di dati di test.

Per valutare le prestazioni del modello, potremmo utilizzare diverse metriche di valutazione. Ad esempio, potremmo calcolare l'accuratezza del modello contando il numero di previsioni corrette che ha fatto (cioè il numero di volte in cui ha previsto correttamente se un cliente avrebbe abbandonato) e dividendo per il numero totale di previsioni. Potremmo anche calcolare la precisione e il richiamo del modello confrontando i tassi di abbandono previsti con i tassi di abbandono effettivi nel set di dati di test.

Un'altra opzione potrebbe essere quella di tracciare una curva AUC-ROC, che traccia il tasso di veri positivi (cioè la proporzione di effettivi churners che sono stati correttamente previsti dal modello) rispetto al tasso di falsi positivi (cioè la proporzione di non churners che erano erroneamente previsto come churners). Un modello con un'elevata precisione e un punteggio AUC-ROC elevato sarebbe considerato avere buone prestazioni.

In qualità di Product Manager in questo caso, uno dei tuoi obiettivi (OKR) potrebbe essere quello di garantire che il modello raggiunga un equilibrio tra la riduzione al minimo dei falsi positivi (ovvero, la previsione errata che un cliente rinuncerà) e la massimizzazione del numero di previsioni vere positive (ovvero , prevedendo correttamente che un cliente rinuncerà).

Per raggiungere questo obiettivo, è necessario misurare la precisione e il richiamo, poiché queste metriche forniscono informazioni sul numero di previsioni false positive e vere positive fatte dal modello.

Il punteggio F1 può quindi essere utilizzato per tenere traccia dei progressi verso l'obiettivo, poiché viene calcolato come equilibrio tra precisione e ricordo, tenendo conto sia del numero di falsi positivi che del numero di previsioni vere positive.

Precision = (True positive) / (True positive + False positive)
Recall= (True positive) / (True positive + False negative)
F1 Score= 2 * (Precision * Recall) / (Precision + Recall)|