AUC가 얼마나 좋은지 확인 (ROC 곡선 아래 영역)
저는 현재 아웃 샘플 데이터의 결과를 예측하기 위해 다른 데이터 세트를 예측 자로 사용하는 프로젝트를 진행하고 있습니다. AUC (Area under the Curve of ROC)를 사용하여 각 데이터 세트의 성능을 비교합니다.
나는 AUC와 ROC의 이론에 익숙하지만 AUC를 평가 하는 정확한 표준 이 있는지 궁금 합니다. 예를 들어 AUC 결과가 0.75를 초과하면 'GOOD AUC' 또는 0.55 미만 으로 분류됩니다 , 'BAD AUC' 로 분류됩니다 .
그러한 표준이 있습니까, 아니면 AUC가 항상 비교 전용입니까?
답변
댓글에서 :
Calimo : 당신이 상인이고 미래 금융 거래를 예측할 때 AUC 0.501을 얻을 수 있다면 당신은 세계에서 가장 부자입니다. 당신이 CPU 엔지니어이고 비트가 0인지 1인지 말할 때 디자인의 AUC가 0.999이면 쓸모없는 실리콘 조각이 있습니다.
이것은 Andrey의 대답 (+1)을 보완합니다.
AUC-ROC 값에 대한 일반적으로 허용되는 참조를 찾을 때 Hosmer의 " 응용 로지스틱 회귀 "를 발견했습니다. Chapt. 5 " 모델의 적합성 평가 "에서 ""마법의 "숫자는없고 일반적인 지침 만있을뿐" 이라고 강조했습니다 . 여기에 다음 값이 제공됩니다.
- ROC = 0.5 이것은 차별이 없음을 의미합니다, (...).
- 0.5 <ROC <0.7 우리는이 열악한 차별을 고려합니다 (...).
- 0.7 $\leq$ ROC <0.8 우리는 이러한 허용 가능한 차별을 고려합니다.
- 0.8 $\leq$ ROC <0.9 우리는 이러한 탁월한 차별을 고려합니다.
- 큰 괴조 $\geq$ 0.9 우리는이 뛰어난 차별을 고려합니다.
이러한 값은 절대로 설정되지 않으며 컨텍스트없이 제공됩니다. Star Trek이 우리에게 가르친 것처럼 " 보편 법은 부족한 사람을위한 것이고, 문맥은 왕을위한 것입니다 " , 즉 (더 심각하게는) 우리가 특정 결정을 내리는 것과 우리의 측정 기준이 무엇을 반영하는지 이해해야합니다. 내 지침은 다음과 같습니다.
- 새로운 작업에 대해 우리는 기존 문헌을 적극적으로 검토하여 무엇이 경쟁적 성과로 간주되는지 확인해야합니다. (예 : X- 선 이미지에서 폐암 검출) 이것은 사실상 문헌 검토입니다.
- 우리의 과제가 문헌에없는 경우 합리적인 기준 모델에 대한 개선을 제공하는 것을 목표로해야합니다. 기본 모델은 평가자가 제공하는 간단한 경험 규칙, 다른 기존 솔루션 및 / 또는 예측 일 수 있습니다.
- 기존 문헌이없고 사용 가능한 간단한 기준 모델이없는 작업이있는 경우 "더 나은 / 나쁜"모델 성능 비교 시도를 중단해야합니다. 이 시점에서 " AUC-R0C 0.75가 나쁘다 "또는 " AUC-ROC 0.75가 좋다 " 라고 말하는 것은 의견의 문제입니다.
그것은 실제로 작업과 데이터에 달려 있기 때문에 말할 수 없습니다. 일부 간단한 작업의 경우 AUC는 90+, 다른 작업의 경우 ~ 0.5-0.6 일 수 있습니다.
일반적으로 그렇게 말하지 않습니다. 그것은 모두 작업, 데이터 세트 및 목표에 따라 다릅니다. AUC 값 xx가 좋은 예측 모델로 정의된다는 경험 법칙은 없습니다.
즉, 가능한 한 높은 AUC 값을 달성하고자합니다. AUC가 1 인 경우 모델은 본질적으로 결과에 대한 완벽한 예측 변수입니다. 0.5의 경우 모델은 실제로 가치가 없습니다. 0.5의 AUC는 모델이 원숭이가하는 것보다 더 나은 결과를 무작위로 예측한다는 것을 의미합니다 (이론상). 나는 당신이 그렇게하지 않은 경우에만 그것에 대해 더 많은 것을 읽을 것을 권할 수 있습니다. 이것은 정말 간단합니다. 그리고 여기 .