Определите, насколько хороша AUC (площадь под кривой ROC)
В настоящее время я работаю над проектом, предполагающим использование различных наборов данных в качестве предиктора для прогнозирования результатов данных вне выборки. Я использую AUC (Площадь под кривой ROC), чтобы сравнить характеристики каждого набора данных.
Я знаком с теорией, лежащей в основе AUC и ROC, но мне интересно, существует ли точный стандарт для оценки AUC , например, если результат AUC превышает 0,75, он будет классифицирован как `` ХОРОШИЙ AUC '' или ниже 0,55 , он будет классифицирован как «ПЛОХОЙ AUC» .
Есть такой стандарт, или AUC всегда только для сравнения?
Ответы
Из комментариев:
Калимо : Если вы трейдер и можете получить AUC 0,501 при прогнозировании будущих финансовых транзакций, вы самый богатый человек в мире. Если вы разработчик процессоров и ваш дизайн получает AUC 0,999 при определении значения бит 0 или 1, значит, у вас бесполезный кусок кремния.
Это дополнение к ответу Андрея (+1).
В поисках общепринятой ссылки на значения AUC-ROC я наткнулся на « Прикладную логистическую регрессию » Хосмера . В гл. 5 « Оценка соответствия модели » подчеркнула, что « не существует« магического »числа, есть только общие рекомендации ». В нем приведены следующие значения:
- ROC = 0,5 Это предполагает отсутствие дискриминации, (...).
- 0,5 <ROC <0,7 Мы считаем это плохой дискриминацией, (...).
- 0,7 $\leq$ ROC <0,8 Мы считаем эту дискриминацию допустимой.
- 0,8 $\leq$ ROC <0,9 Мы считаем это отличной дискриминацией.
- ROC $\geq$ 0.9 Мы считаем это выдающейся дискриминацией.
Эти ценности ни в коем случае не являются окончательными и даны без какого-либо контекста. Как учит нас « Звездный путь»: « Универсальный закон - для лакеев, контекст - для королей » , т. Е. (И что более серьезно) нам нужно понимать, что мы принимаем конкретное решение и что отражают наши показатели. Мои рекомендации были бы такими:
- Для решения любой новой задачи мы должны активно просматривать существующую литературу, чтобы увидеть, что считается конкурентоспособной работой. (например, обнаружение рака легких по рентгеновским снимкам) Это практически обзор литературы.
- Если наши задачи не представлены в литературе, мы должны стремиться обеспечить улучшение по сравнению с разумной базовой моделью. Эта базовая модель может быть некоторыми простыми практическими правилами, другими существующими решениями и / или прогнозами, предоставленными человеческими оценщиками.
- Если у нас есть задача, для которой нет существующей литературы и простой базовой модели, мы должны прекратить попытки провести сравнение производительности модели «лучше / хуже». На этом этапе можно сказать, что « AUC-R0C 0,75 - это плохо » или « AUC-ROC 0,75 - хорошо ».
Сказать невозможно, потому что это действительно зависит от задачи и данных. Для некоторых простых задач AUC может быть 90+, для других ~ 0,5-0,6.
В общем, я бы так не сказал. Все зависит от задачи, набора данных и целей. Не существует практического правила, согласно которому значение AUC, равное xx, определяется как хорошая модель прогнозирования.
При этом вы хотите достичь как можно более высокого значения AUC. В тех случаях, когда вы получаете AUC, равную 1, ваша модель по сути является идеальным предсказателем вашего результата. В случае 0,5 ваша модель не представляет особой ценности. Значение AUC 0,5 означает, что модель просто случайным образом предсказывает результат не лучше, чем это сделала бы обезьяна (теоретически). Я могу только порекомендовать вам узнать об этом больше, если у вас этого нет. Это действительно просто. И вот .