Số liệu học máy

Các chỉ số học máy được sử dụng để đánh giá hiệu suất của mô hình học máy đối với một tác vụ cụ thể. Có nhiều loại chỉ số đánh giá khác nhau và việc lựa chọn sử dụng chỉ số nào phụ thuộc vào các đặc điểm cụ thể của nhiệm vụ và loại mô hình được sử dụng.

Một số chỉ số chính bao gồm:

Độ chính xác: Đây là thước đo đánh giá được sử dụng phổ biến nhất và nó chỉ đơn giản là tỷ lệ dự đoán chính xác do mô hình đưa ra.

Accuracy= (Number of correct predictions) / (Total number of predictions)

Precision= (True positive) / (True positive + False positive)

Recall= (True positive) / (True positive + False negative)

F1 Score= 2 * (Precision * Recall) / (Precision + Recall)

Tỷ lệ tích cực thực sự được tính như sau:

TPR = (True positive) / (True positive + False negative)

FPR = (False positive) / (False positive + True negative)

MSE = (1/n) * Σ(Predicted - True)²

Lỗi tuyệt đối trung bình (MAE): Số liệu này cũng thường được sử dụng cho các tác vụ hồi quy và nó là thước đo chênh lệch tuyệt đối trung bình giữa các giá trị dự đoán và giá trị thực.

MAE = (1/n) * Σ|Predicted - True|

Giả sử chúng ta đang phát triển một mô hình máy học để dự đoán liệu một khách hàng có rời đi hay không (nghĩa là ngừng sử dụng dịch vụ). Chúng tôi có một bộ dữ liệu chứa thông tin về một nhóm khách hàng, bao gồm nhân khẩu học, kiểu sử dụng và liệu họ có rời bỏ hay không. Chúng tôi đào tạo một mô hình trên dữ liệu này và sử dụng nó để đưa ra dự đoán trên tập dữ liệu thử nghiệm.

Để đánh giá hiệu suất của mô hình, chúng ta có thể sử dụng một số chỉ số đánh giá khác nhau. Ví dụ: chúng tôi có thể tính toán độ chính xác của mô hình bằng cách đếm số lần dự đoán chính xác mà mô hình đưa ra (nghĩa là số lần dự đoán chính xác liệu khách hàng có rời bỏ mô hình hay không) và chia cho tổng số dự đoán. Chúng tôi cũng có thể tính toán độ chính xác và khả năng thu hồi của mô hình bằng cách so sánh tỷ lệ rời dự đoán với tỷ lệ rời thực tế trong tập dữ liệu thử nghiệm.

Một tùy chọn khác có thể là vẽ đồ thị đường cong AUC-ROC, biểu thị tỷ lệ dương thực (nghĩa là tỷ lệ người rời bỏ thực tế được dự đoán chính xác bởi mô hình) so với tỷ lệ dương tính giả (tức là tỷ lệ người không rời bỏ đã dự đoán không chính xác là khuấy). Một mô hình có độ chính xác cao và điểm AUC-ROC cao sẽ được coi là hoạt động tốt.

Với tư cách là Người quản lý sản phẩm trong trường hợp này, một trong những mục tiêu (OKR) của bạn có thể là đảm bảo rằng mô hình đạt được sự cân bằng giữa việc giảm thiểu các thông tin tích cực sai (nghĩa là dự đoán sai rằng khách hàng sẽ rời bỏ) và tối đa hóa số lượng các dự đoán tích cực thực sự (tức là , dự đoán chính xác rằng khách hàng sẽ rời bỏ).

Để đạt được mục tiêu này, cần phải đo lường độ chính xác và khả năng thu hồi, vì các chỉ số này cung cấp thông tin về số lượng kết quả dương tính giả và dự đoán dương tính thực do mô hình đưa ra.

Sau đó, điểm số F1 có thể được sử dụng để theo dõi tiến độ hướng tới mục tiêu, vì nó được tính là sự cân bằng giữa độ chính xác và khả năng thu hồi, bằng cách tính đến cả hai, số lần dương tính giả và số lần dự đoán dương tính thật.

Precision = (True positive) / (True positive + False positive)
Recall= (True positive) / (True positive + False negative)
F1 Score= 2 * (Precision * Recall) / (Precision + Recall)|