이미징 테스트를 비교하기위한 ROC 곡선은 언제 유효합니까? (아래 예에 집중)
다음 사례에서 어떤 비판이 제기 될 수 있는지 묻고 싶습니다. 이 논문 에서는 측정 비율을 사용하여 방사선 사진에서 자궁 경관의 협착을 감지하는 방법을 테스트합니다. 연구 대상에서 그들은 "골드 표준"으로 CT 스캔을 가지고 있습니다. CT에서 측정 된 척추관은 다음과 같이 잘 확립되어 있습니다.$<12$ mm은 좁아짐의 진단입니다 ($1$ 로지스틱 회귀의 레이블).
연구의 목표는 다음과 같습니다.
[CT 측정과 함께] 유의 한 상관 계수를 갖는 비율을 ROC (수신자 작동 특성) 곡선 분석으로 평가하여 발달 성 자궁 경부 협착증을 나타내는 민감도와 위양성 비율 (1-특이성)을 최적화 한 컷오프 비율 값을 정의했습니다. CT에서 <12mm의 시상 관 직경으로 정의됩니다.
결론은 다음과 같습니다.
그러나 ROC 곡선 분석에서는 LM / CD 비율 [방사선 사진에서 직경을 측정하는 방법 중 하나]만이 $\geq 0.735$ 운하 직경을 나타냈다 $<12$mm (발달 자궁 경부 협착). [$<12$ mm은 "골드 표준"에서 합의 된 임계 값입니다].
- ROC를 사용하여 정확도를 위해 척수 관 (LM / CD, SL / LM 등) 측정의 서로 다른 비율을 비교하는 것이 방법 론적으로 옳습니까? 일반적으로 어떤 기준에서 괜찮습니까?
- 컷오프 지점을 도출하는 것이 맞습니까? $0.735$ ROC 곡선에서?
- 그리고 훨씬 덜 중요하지만 궁금한 점은 SL / VB가 LM / CD만큼 좋은 (역) 분류 자로서 넓게 열린 척추관을 나타내는 것이 아닐까요?
점 (2)와 관련하여 ROC 곡선을 사용하여 의학에서 임계 값을 설정하는 것은 매우 문제가 있으며 Scientific American에서 설명했듯이 "주어진 인구에 대해 최적의 임계 값은 진단되는 상태의 심각도, 유병률과 같은 요인에 따라 달라집니다. 인구의 상태, 진단받은 사람들을위한 시정 조치의 가용성, 그리고 잘못된 경보의 재정적, 정서적 및 기타 비용. " .
안타깝게도 논문은 통계적 세부 사항이 드물지만 Youden의 J 통계 (lr.eta) 를 최대화하기 위해 표시된 컷오프 값이 선택되었다고 가정합니다 . 이것이 사용 된 방법이라는 긍정적 인 증거 없이는 @Scortchi가 친절하게 공유 한이 기사 에서와 같이 비용 비율이 유행에 따라 달라지기 때문에 문제가 있습니다 .
점 (3)과 관련하여이 측정 값이 역전되어 "최상의 비율"경쟁에 부정적인 예측 변수로 다시 배치되어야하는지 궁금합니다. 왜냐하면 "직각 삼각형 아래에 점을 생성하는 모든 분류기는 다음과 같이 부정 될 수 있기 때문입니다. 왼쪽 위 삼각형에 점을 생성합니다. "
예를 들어 여기 에서 다운로드 할 수있는 PSA (전립선 특이 항원) 데이터 세트를 사용 하면 총 PSA가 전립선 암의 좋은 지표로 간주 될 수 있습니다. ROC 플롯은 AUC가 다음과 같은 볼록 껍질을 나타냅니다.$0.85,$ 및 p- 값 $<0.01$; 그러나 기호를 변경하거나 농도 값을$\text{[PSA]}$ ...에 $1/\text{[PSA]}$) 미러 이미지가 생성되었습니다.
예를 들어 SL / VB에 간단한 변형이 적용되지 않았기 때문에 근관의 큰 직경을 예측 한 비율 (따라서 근관 협착 이 없는지 에 대한 좋은 지표로 작용할 수 있음 )이 연구에서 고려되지 않았다고 결론을 내릴 수 있습니다. 노란색으로 표시) 위쪽 삼각형으로 뒤집습니다.
SL / VB와 근관 직경의 양의 상관 관계에 대한 @Carl의 관찰 후 $0.652$ 오목한 곡선과 낮은 AUC로 흔들리지 않고 포인트 (3)가 강화됩니다. 같은 가방에 던져 넓은 자궁 경관 (건강)의 측정 값을 좁은 운하 (질병) 측정 값과 함께 양의 상관 관계와 비교합니다. 유일한 음의 상관 관계 :
일반적으로 다양한 진단 테스트의 정확도 또는 성능은 ROC 곡선에서 어디서나 분석되며 AUC는 CI의 유무에 관계없이보고됩니다. 다른 분류기의 조합도 종종 비교됩니다. 이것은 아마도 남용되었지만 사라지지 않는 것 ( p 값)인지, 따라서 동료 평가에 대해 언급 할 가치가없는 것인지 또는 일부에서 받아 들일 수있는 관행 인지 여부를 말하기 어렵 기 때문에 매우 일반적인 관행입니다. 곡선에 대한 관심이 거의 또는 전혀없는 세그먼트의 AUC 인수를 포함하여 ROC 곡선이받은 많은 비판을 피하는 조건. 이와 관련하여 ROC 곡선을 보완 적 으로 제시해야 하고 방법 으로 "ROC 분석"을 제시하지 않아야 합니까?
답변
문제의 특정 논문, PH Horne et al, A Novel Radiographic Indicator of Developmental Cervical Stenosis , J Bone Joint Surg Am. (2016) 98 : 1206-14 는 "조기 이분법"이라고 할 수있는 불행한 예인 것 같습니다. 3D 영상 (컴퓨터 단층 촬영 스캔과 같은)의 재건을 기반으로 누군가를 "자궁 경부 협착증"이있는 것으로 분류하기 위해 처진 척추관 직경이 12mm 미만으로 설정된 컷오프가 있습니다. 저자는 3D 영상으로 측정 된 근관 직경을 가진 환자를 대상으로보다 쉽게 이용 가능한 2D 영상 (비용이 저렴하고 훨씬 낮은 방사선 량 포함)에서 4 가지 측정을 조사했습니다. 저자는 2D 측정이 자궁 경부 협착을 예측하는 데 사용될 수 있는지 여부를 조사했습니다.
이 연구는 이러한 모든 2D 측정의 함수로서 처지 관 직경을 모델링하고 실제 근관 직경이 얼마나 잘 모델링 될 수 있는지 확인할 수있는 좋은 기회가되었을 것입니다. 불행히도, 저자는 근관 직경과 함께 4 개의 측정 값 각각의 개별 상관 관계 만 조사한 다음, 2D 측정 의 쌍별 비율 세트와 근관 직경의 상관 관계를 조사했습니다 . 따라서이 접근 방식은 4 개의 측정을 모두 포함하는 다중 회귀 접근 방식이 제공했을 수있는보다 자세한 정보를 버렸습니다.
그런 다음 이러한 이상적이지 않은 쌍별 비율을 평가하기 위해 저자는 근관 직경의 실제 측정을 무시하고 3D 기반 분류를 협착 / 정상으로 예측하려고했습니다. 논문과이 질문에 표시된 ROC (수신기 작동 특성) 곡선은 각 비율에 대한 컷오프를 변경하면 협착증 식별의 민감도와 특이도에 어떤 영향을 미치는지 보여줍니다. 하는 모델 의 모든 측정 만 (오류 추정과 함께) 운하의 직경을 측정하는 데 사용되었고 다음 <12mm 직경의 호출을 아마 훨씬 더 유용했을 것이다.
이 논문은 통계적 관점에서 볼 때 훌륭한 논문은 아니지만 이에 대해 제기 된 질문은 일반적인 관심사이며 토론 할 가치가 있습니다. D. 손, 분류기 성능 측정 : ROC 곡선 아래 영역에 대한 일관된 대안 인 Mach Learn (2009) 77 : 103–123 ( 이 관련 질문 에서 참조 )은 중요한 키를 제공합니다.
손은 레이블이 붙은 두 가지 클래스를 고려합니다. $k=0$ 과 $k=1$, 유병률 $\pi_k$및 밀도 함수 $f_k(s)$ 점수의 각 등급 내 분포 설명 $s$ 클래스 멤버십 확률에 따라 단조롭게 증가하는 $1$. 클래스로 오 분류하는 비용$k$ 이다 $c_k$,와 함께 $c$ 분류 오 분류 비용 비율 $0$, $c =c_0/(c_0+c_1)$.
비용 비율이 이러한 방식으로 표현되고 클래스 구성원 확률에 대한 올바른 모델이있는 경우 클래스 할당에 대한 비용 최적 확률 컷오프 는 다음과 같습니다.$c$. 따라서 모델 품질의 일반적인 측정은 모델 적용에 많은 지침을 제공하지 않을 수 있습니다. 중요한 것은 특히 상대적인 오 분류 비용이 알려진 경우 최종 결정 지점 근처의 확률에 대해 잘 보정 된 클래스 구성원 확률 모델을 갖는 것입니다. 다시 말해, 확률 또는 점수 컷오프의 선택은 이러한 상대적 비용에 대해 암시 적으로 선택하는 것입니다.
손은 ROC 곡선 아래 영역 인 AUC,
다른 비용 비율에 해당하는 손실의 평균을 취하는 것과 같습니다. $c$, 평균은 분포에 따라 계산됩니다.
$$w(c) = \pi_0 f_0 (P_1^{-1}(c)) \left| \frac{dP_1^{-1}(c)}{dc} \right| + \pi_1 f_1 (P_1^{-1}(c)) \left| \frac{dP_1^{-1}(c)}{dc} \right|.$$
여기, $P_1^{-1}(c)$분류를위한 비용 최적 점수 / 확률 임계 값을 나타냅니다. 이것은 AUC를 사용하여 다른 분류기를 비교할 때 발생하는 두 가지 문제를 보여줍니다. 첫째, 손이 계속됩니다.
이것의 의미는 비용 비율에 대한 무게 분포 $c$AUC 계산에 암시 적으로 사용되는는 경험적 점수 분포에 따라 다릅니다. $f_k$. 즉, 서로 다른 비용 비율 c를 결합하는 데 사용되는 가중치 분포는 분류 자마다 다릅니다 . 그러나 이것은 터무니없는 일입니다. 가능성있는 가치에 대한 신념$c$데이터와 분리 된 고려 사항에서 얻어야합니다. 이는 문제 정의의 일부입니다. 분류를 위해 어떤 도구를 사용하는지에 따라 오 분류를 얼마나 중요하게 생각하는지에 대해 마음을 바꿀 수 없습니다. 그럼에도 불구하고 이것은 AUC가하는 일입니다. 즉, 서로 다른 메트릭을 사용하여 서로 다른 분류기를 평가합니다.
둘째, 가중 평균은 클래스 유병률에 따라 달라집니다. $\pi_0$ 과 $\pi_1$. 예를 들어 TM Hamill과 J. Juras에 의해 설명 된, 예측 기술 측정 : 실제 기술입니까, 아니면 다양한 기후학입니까? , QJR Meteorol. Soc. (2006), 132 : 2905–2923 .
Horne 외 논문과 관련된 3 가지 특정 질문에 이러한 원칙을 적용합니다.
- ROC를 사용하여 정확도를 위해 척수 관 (LM / CD, SL / LM 등) 측정의 서로 다른 비율을 비교하는 것이 방법 론적으로 옳습니까? 일반적으로 어떤 기준에서 괜찮습니까?
지금은 처음에 제기 된 실험 설계에 대한 더 광범위한 문제를 제쳐두십시오. AUC 값을 비교하기 위해 "ROC를 사용하여 정확도 비교"를 수행하면 일반적으로 위험 할 수 있습니다. 서로 다른 오 분류의 상대적 비용과 Hand가 논의한 분류 체계 중 클래스 내 점수의 서로 다른 분포 문제를 무시하는 것 외에도 여기에 보급으로 인해 발생할 수있는 큰 문제가 있습니다.$\pi$협착증. Horne et al 논문의 모집단은 일부 임상 적응증을 위해 이미 2D 및 3D 이미징을 보유한 개인으로 구성되었습니다. 협착의 유병률이 훨씬 낮고 상대적인 오 분류 비용이 다를 수있는 더 넓은 인구에 동일한 기준을 적용하고 싶지 않을 것입니다.
또한 이러한 문제를 무시하기로 선택하더라도 AUC는 모델을 구분하는 데 매우 민감하지 않습니다 . 다시 말하지만 보정이 핵심입니다. 이러한 임상 연구의 전형적인 샘플 크기를 사용하면 리샘플링을 기반으로 모델 성능 비교가 더 좋습니다. 예를 들어 데이터에서 여러 부트 스트랩 샘플에 대한 모델링을 반복하고 전체 데이터 세트를 평가합니다.
2, ROC 곡선에서 컷오프 포인트 0.735를 도출하는 것이 맞습니까?
그 선택은 (무엇보다도) 최대 Peirce 스킬 점수라고하는 스킬이없는 것을 나타내는 대각선에서 가장 먼 수직 거리를 가진 ROC의 포인트에 대해 만들어진 것 같습니다. 에서 최대 피어스 스킬 점수에 대한 참고 , 날씨 및 예측 (2007 년) 22 : 1,148에서 1,154 사이는 , A. Manzato는 말한다 : "이 분류의 기술을 극대화 ROC 지점입니다." 그럼에도 불구하고 Manzato가 계속 설명 하듯이 컷오프의 선택은 상대적인 오 분류 비용을 고려하지 않습니다. 그 선택이 "올바른지"여부는 점수 시스템의 의도 된 사용과 상대적인 오 분류 비용에 따라 다르며 Horne 등은 논의하지 않는 것 같습니다.
- 그리고 훨씬 덜 중요하지만 궁금한 점은 SL / VB가 LM / CD만큼 좋은 (역) 분류 자로서 넓게 열린 척추관을 나타내는 것이 아닐까요?
일반적으로 특정 채점 시스템이 잘못된 클래스를 선택하는 데 효과적이라면 다른 클래스를 선택하십시오.
그러나 위의 대부분은 다른 채점 시스템 을 비교 하는 문제와 관련이 있습니다. 어떤을 위해 하나 개의 평가 시스템의 ROC 곡선은 여전히 곡선 상응 점수로 표시되는 경우 특히, 기본 민감도 / 특이 트레이드 오프의 편리한 개요를 제공합니다. 그리고 하나의 채점 시스템에 대해 AUC는 상대 점수의 차이가 클래스 구성원과 일치하는 서로 다른 클래스 케이스 쌍의 비율을 제공합니다.