Określ, jak dobre jest AUC (obszar pod krzywą ROC)
Obecnie pracuję nad projektem obejmującym używanie różnych zestawów danych jako predyktorów do przewidywania wyników danych poza próbką. Używam AUC (obszar pod krzywą ROC), aby porównać wyniki każdego zestawu danych.
Znam teorię stojącą za AUC i ROC, ale zastanawiam się, czy istnieje dokładny standard oceny AUC , na przykład, jeśli wynik AUC przekracza 0,75, zostanie sklasyfikowany jako `` DOBRY AUC '' lub poniżej 0,55 , zostanie sklasyfikowane jako „ZŁE AUC” .
Czy istnieje taki standard, czy też AUC służy tylko do porównywania?
Odpowiedzi
Z komentarzy:
Calimo : Jeśli jesteś traderem i możesz uzyskać AUC w wysokości 0,501 w przewidywaniu przyszłych transakcji finansowych, jesteś najbogatszym człowiekiem na świecie. Jeśli jesteś inżynierem procesorów i twój projekt uzyskuje AUC 0,999 przy określaniu, czy bit jest 0, czy 1, masz bezużyteczny kawałek krzemu.
Jest to uzupełnienie odpowiedzi Andreya (+1).
Szukając ogólnie przyjętego odniesienia dotyczącego wartości AUC-ROC, natknąłem się na „ Applied Logistic Regression ” Hosmera . W rozdz. 5 „ Ocena dopasowania modelu ” podkreślał, że „ nie ma„ magicznej ”liczby, są tylko ogólne wytyczne ”. W nim podane są następujące wartości:
- ROC = 0,5 Sugeruje to brak dyskryminacji, (...).
- 0,5 <ROC <0,7 Uważamy, że ta słaba dyskryminacja (...).
- 0,7 $\leq$ ROC <0,8 Uważamy tę dopuszczalną dyskryminację.
- 0.8 $\leq$ ROC <0,9 Uważamy tę doskonałą dyskryminację.
- ROC $\geq$ 0.9 Uważamy, że ta wyjątkowa dyskryminacja.
Wartości te nie są bynajmniej ustalone i podane bez kontekstu. Jak uczy nas Star Trek: „ Uniwersalne prawo jest dla lokajów, kontekst dla królów ” , tj. (I bardziej poważnie) musimy zrozumieć, co podejmujemy w danej decyzji i co odzwierciedlają nasze wskaźniki. Moje wytyczne brzmiałyby:
- W przypadku każdego nowego zadania powinniśmy aktywnie przyjrzeć się istniejącej literaturze, aby zobaczyć, co jest uważane za wydajność konkurencyjną. (np. wykrywanie raka płuca na podstawie zdjęć rentgenowskich) Jest to praktycznie przegląd literatury.
- Jeśli naszych zadań nie ma w literaturze, powinniśmy dążyć do poprawy w stosunku do rozsądnego modelu bazowego. Ten model bazowy może obejmować kilka prostych reguł praktycznych, inne istniejące rozwiązania i / lub prognozy dostarczone przez ludzi oceniających.
- Jeśli mamy zadanie bez istniejącej literatury i prostego modelu bazowego, powinniśmy przestać próbować dokonywać „lepszego / gorszego” porównania wydajności modelu. W tym momencie stwierdzenie „ AUC-R0C 0,75 jest złe ” lub „ AUC-ROC 0,75 jest dobre ” jest kwestią opinii.
Nie można tego powiedzieć, ponieważ tak naprawdę zależy to od zadania i danych. W przypadku niektórych prostych zadań AUC może wynosić 90+, dla innych ~ 0,5-0,6.
Generalnie nie powiedziałbym tego. Wszystko zależy od zadania, zestawu danych i celów. Nie ma praktycznej zasady, że wartość AUC równa xx jest definiowana jako dobry model prognostyczny.
Biorąc to pod uwagę, chcesz osiągnąć jak najwyższą wartość AUC. W przypadkach, gdy uzyskasz AUC równe 1, model jest zasadniczo doskonałym predyktorem wyniku. W przypadku 0,5 model nie jest naprawdę wartościowy. AUC wynoszące 0,5 oznacza po prostu, że model po prostu losowo przewiduje wynik nie lepszy niż zrobiłby to małpa (w teorii). Mogę tylko polecić, abyś przeczytał więcej na ten temat, jeśli tego nie zrobiłeś. Jest to naprawdę proste. I tutaj .