Xác định mức AUC tốt như thế nào (Diện tích dưới đường cong ROC)

Aug 15 2020

Tôi hiện đang thực hiện một dự án liên quan đến việc sử dụng các bộ dữ liệu khác nhau làm công cụ dự đoán để dự đoán kết quả của dữ liệu ngoài mẫu. Tôi sử dụng AUC (Diện tích dưới đường cong ROC) để so sánh hiệu suất của từng tập dữ liệu.

Tôi đã quen với lý thuyết đằng sau AUC và ROC, nhưng tôi tự hỏi liệu có tiêu chuẩn chính xác để đánh giá AUC , ví dụ: nếu kết quả AUC trên 0,75, nó sẽ được phân loại là 'AUC TỐT' , hoặc dưới 0,55 , nó sẽ được phân loại là 'BAD AUC' .

Có một tiêu chuẩn như vậy, hay AUC luôn chỉ để so sánh?

Trả lời

17 SextusEmpiricus Aug 16 2020 at 23:45

Từ các ý kiến:

Calimo : Nếu bạn là một nhà kinh doanh và bạn có thể nhận được AUC là 0,501 khi dự đoán các giao dịch tài chính trong tương lai, bạn là người giàu nhất thế giới. Nếu bạn là một kỹ sư CPU ​​và thiết kế của bạn nhận được AUC là 0,999 khi cho biết một bit là 0 hay 1, bạn có một miếng silicon vô dụng.

10 usεr11852 Aug 16 2020 at 15:19

Đây là phần bổ sung cho câu trả lời của Andrey (+1).

Khi tìm kiếm một tham chiếu được chấp nhận chung về các giá trị AUC-ROC, tôi đã xem qua " Hồi quy logistic ứng dụng " của Hosmer . Trong Chapt. 5 " Đánh giá sự phù hợp của người mẫu ", nó nhấn mạnh rằng " không có con số" ma thuật ", chỉ có hướng dẫn chung ". Trong đó, các giá trị sau được đưa ra:

  • ROC = 0,5 Điều này cho thấy không có sự phân biệt, (...).
  • 0,5 <ROC <0,7 Chúng tôi coi đây là sự phân biệt đối xử kém, (...).
  • 0,7 $\leq$ ROC <0,8 Chúng tôi coi đây là sự phân biệt có thể chấp nhận được.
  • 0,8 $\leq$ ROC <0,9 Chúng tôi coi đây là sự phân biệt tuyệt vời.
  • ROC $\geq$ 0.9 Chúng tôi coi đây là sự phân biệt đối xử nổi bật.

Những giá trị này không có nghĩa là cố định và chúng được đưa ra mà không có bất kỳ ngữ cảnh nào. Như Star Trek dạy chúng ta: " Luật phổ quát là dành cho tay sai, bối cảnh là dành cho vua " , tức là (và nghiêm túc hơn), chúng ta cần hiểu những gì chúng ta đang đưa ra một quyết định cụ thể và những gì các chỉ số của chúng ta phản ánh. Nguyên tắc của tôi sẽ là:

  1. Đối với bất kỳ nhiệm vụ mới nào, chúng ta nên tích cực xem xét các tài liệu hiện có để xem những gì được coi là hiệu suất cạnh tranh. (ví dụ như phát hiện ung thư phổi từ hình ảnh X-quang) Đây thực tế là một tổng quan tài liệu.
  2. Nếu các nhiệm vụ của chúng ta không có trong tài liệu, chúng ta nên hướng đến việc cải tiến mô hình cơ sở hợp lý. Mô hình cơ sở đó có thể là một số quy tắc đơn giản, các giải pháp và / hoặc dự đoán hiện có khác do (các) người đánh giá cung cấp.
  3. Nếu chúng ta có một nhiệm vụ mà không có tài liệu hiện có và không có sẵn mô hình cơ sở đơn giản, chúng ta nên ngừng cố gắng thực hiện so sánh hiệu suất mô hình "tốt hơn / kém hơn". Tại thời điểm này, nói " AUC-R0C 0,75 là xấu " hay " AUC-ROC 0,75 là tốt " là một vấn đề quan điểm.
8 AndreyLukyanenko Aug 16 2020 at 03:25

Không thể nói vì nó thực sự phụ thuộc vào nhiệm vụ và dữ liệu. Đối với một số tác vụ đơn giản, AUC có thể là 90+, đối với những tác vụ khác là ~ 0,5-0,6.

3 Thomas Aug 16 2020 at 13:10

Nói chung, tôi sẽ không nói như vậy. Tất cả phụ thuộc vào nhiệm vụ, tập dữ liệu và mục tiêu của bạn. Không có quy tắc chung nào rằng giá trị AUC của xx được xác định là một mô hình dự đoán tốt.

Nói như vậy, bạn muốn đạt được giá trị AUC càng cao càng tốt. Trong trường hợp bạn nhận được AUC là 1, mô hình của bạn về cơ bản là một công cụ dự đoán hoàn hảo cho kết quả của bạn. Trong những trường hợp 0,5, mô hình của bạn không thực sự có giá trị. AUC là 0,5 chỉ có nghĩa là mô hình chỉ dự đoán ngẫu nhiên kết quả không tốt hơn khỉ sẽ làm (trên lý thuyết). Tôi chỉ có thể khuyên bạn đọc thêm về nó nếu bạn chưa hiểu. Điều này thực sự đơn giản. Và, đây .