Объяснение шага в вычислении отношения затрат на кривой ROC как функции от AUC
В этой статье Дэвида Хэнда затраты на ошибочную классификацию$c_0$ а также $c_1$ с соотношением $c$ определяется как $c=c_0/(c_0+c_1).$ Порог, который считается оптимальным, составляет
$$T(c)=\underset{t}{\text{arg min}}\left\{ c\pi_0(1-F_0(t)) + (1-c) \pi_1 F_1(t) \right\}$$
с участием $t$ быть любым порогом в баллах, и $1=\pi_0+\pi_1$ доли больных и здоровых в популяции. $F_0$ это распространение заболевших, а $F_1$распределение здоровых лиц. Кейсы считаются классом$0.$
Предполагая взаимно-однозначное отношение $c$ с участием $T$ и дифференцируя, он получает следующий результат (уравнение (5)):
$$c= \color{red}{\Pr(1\vert T)} = \pi_1 f_1(T) / \left\{ \pi_0f_0(T) + \pi_1f_1(T)\right\}$$
где $\Pr(1\vert T)$ условная вероятность принадлежности к классу $1,$ учитывая оценку $T.$
Я слежу за всем здесь, кроме красной части. Это может быть очень простое недоразумение, но разве условная вероятность не должна рассчитываться из соотношения cdf, а не pdf ?
Я полагаю, ответ заключается в рассмотрении оценок $s(x)$ в логистической регрессии как монотонно возрастающее преобразование $\Pr(1 \vert x).$
Вот неудачная попытка взлома:
install.packages('pROC')
install.packages('ROCR')
install.packages('Epi')
library(pROC)
library(ROCR)
library(Epi)
set.seed(561)
cost0 = 1 # Cost of mis-classifying a normal as having cancer in million $ cost1 = 10 # Cost of mis-classifying a cancer patient as normal (death?) b = cost0 + cost1 c = cost0/(b) n = 7000 # Total cases pi0 =.8 # Percentage of normal pi1 =.2 # Percentage of disease # Actual values of the test for normals and disease (D higher test values) testA_Normals = rnorm(n*pi0, mean=3, sd=1) testA_Sick = rnorm(n*pi1, 6, 1) # Determining a threshold based on cost # arg t min {Loss = cost0 * (1 - pnorm(t,3,1)) * pi0 + # cost1 * pnorm(t,6,1) * pi1} t = seq(0,10,0.0001) loss <- cost0 * (1 - pnorm(t,3,1)) * pi0 + cost1 * pnorm(t,6,1) * pi1 Threshold = data.frame(t,loss)[which(loss==min(loss)),]$t
hist(testA_Normals,border=F, xlim=c(0,10))
hist(testA_Sick,col=2,border=F, add=T)
abline(v=Threshold)
Сравнивая 3 равенства в уравнении:
c
pi1 * dnorm(Threshold,6,1) / (pi0 * dnorm(Threshold,3,1) + pi1 * dnorm(Threshold,6,1))
#P(1|T) = P(T|1) * P(1) / [P(T|0) * P(0) + P(T|1) * P(1)]
(pnorm(Threshold,6,1,F)*pi1)/(pnorm(Threshold,6,1,F)*pi1+
pnorm(Threshold,3,1,F)*pi0)
0.0909090909090909
0.0909165896894187
0.6749524!!!!!(***)
$(***) \text{Edit}:$ После получения помощи из очень надежного источника (неназванного, чтобы я не неправильно цитировал) мысли, лежащие в основе $\Pr(1\vert T)$ не является $\Pr(1\vert s \geq T),$ что было бы то, что предложил бы мой код, а скорее $\Pr(1\vert s=T),$ или же $$\Tiny\lim_{d \to 0}\frac{d \pi_1 f_1(T)}{ d \pi_1 f_1(T) + d \pi_0 f_0(T) }= \lim_{d \to 0} \Pr\left(1\Big\vert -\frac d 2 +T +\frac d 2\right). $$
Ответы
Данное правило принятия решения
Когда гипотеза $\mathsf H_0$ верно (событие, которое происходит с вероятностью $\pi_0$), переменная решения $X$ превышает порог $t$ с вероятностью $(1-F_0(t))$ (и возникает ложная тревога), и понесенные затраты равны $c_0$.
Когда гипотеза $\mathsf H_1$ верно (событие, которое происходит с вероятностью $\pi_1$), переменная решения $X$ меньше порога $t$ с вероятностью $F_1(t)$ (и поэтому происходит пропущенное обнаружение), и понесенные затраты составляют $c_1$.
Таким образом, средняя стоимость или ожидаемая стоимость каждого решения равна\begin{align} \text{average cost} &= c_0\pi_0(1-F_0(t)) + c_1\pi_1F_1(t)\\\ &= (c_0 + c_1)\left[\frac{c_0}{c_0 + c_1}\pi_0(1-F_0(t)) + \frac{c_1}{c_0 + c_1}\pi_1F_1(t)\right]\\ &= (c_0 + c_1)\big[c\pi_0(1-F_0(t)) + (1-c)\pi_1F_1(t)\big]. \end{align} Значение $t$ что минимизирует среднюю стоимость, таким образом $$T = \underset{t}{\arg \min}\big[c\pi_0(1-F_0(t)) + (1-c)\pi_1F_1(t)\big],\tag{1}$$ и минимальная средняя стоимость, которую может достичь это правило принятия решения, составляет $$\text{minimum average cost}=(c_0 + c_1)\big[c\pi_0(1-F_0(T)) + (1-c)\pi_1F_1(T)\big]. \tag{2}$$
Обратите внимание, однако, что эта минимальность средней стоимости присутствует только среди всех решающих правил вида
Если $X > t$, решение состоит в том, что$\mathsf H_1$произошел.
Если$X \leq t$, решение состоит в том, что$\mathsf H_0$ произошел.
Другие правила принятия решений могут привести к меньшим средним затратам, чем $(2)$, и мы обсудим это ниже.
Оптимальное правило принятия решения о минимальной средней стоимости
Оптимальное правило принятия решения о минимальном ожидаемой стоимости является тот , который сравнивает отношение правдоподобия$\displaystyle\Lambda(X) = \frac{f_1(X)}{f_0(X)}$ к порогу $\displaystyle\frac{c_0\pi_0}{c_1\pi_1}$ и решает, что $\mathsf H_0$ или же $\mathsf H_1$ произошло в соответствии с $\Lambda(X)$меньше или равно пороговому значению или больше порогового значения. Таким образом, реальную линию можно разбить на множества$\Gamma_0$ а также $\Gamma_1$ определяется как \begin{align} \Gamma_0 &= \big\{X \in \Gamma_0 \implies \textit{decision }\text{is that } \mathsf H_0~\text{occurred}\big\}\\ &= \left\{x\in \mathbb R\colon \Lambda(x) \leq \frac{c_0\pi_0}{c_1\pi_1}\right\}\\ \Gamma_1 &= \big\{X \in \Gamma_1 \implies \textit{decision }\text{is that } \mathsf H_1~\text{occurred}\big\}\\ &= \left\{x\in \mathbb R\colon \Lambda(x) > \frac{c_0\pi_0}{c_1\pi_1}\right\} \end{align} где $\Gamma_0$ а также $\Gamma_1$ не обязательно наборы $\left\{x \leq T\right\}$ а также $\left\{x > T\right\}$обсуждалось ранее. Оптимальное решение с минимальной средней стоимости имеет стоимость$$\text{minimum average cost}=(c_0 + c_1)\big[c\pi_0\Pr\{X \in \Gamma_1\mid \mathsf H_0\} + (1-c)\pi_1\Pr\{X \in \Gamma_0\mid \mathsf H_1\}\big]. \tag{3}$$
Если отношение правдоподобия является монотонно возрастающей функцией своего аргумента,
тогда $\Gamma_0$ а также $\Gamma_1$ оказываются в форме $\left\{x \leq T^*\right\}$ а также $\left\{x > T^*\right\}$ а также $(3)$ упрощается до \begin{align} \text{minimum average cost}&=(c_0 + c_1)\big[c\pi_0\Pr\{X > T^*\mid \mathsf H_0\} + (1-c)\pi_1\Pr\{X \leq T^*\mid \mathsf H_1\}\big]\\ &= (c_0 + c_1)\big[c\pi_0(1-F_0(T^*)) + (1-c)\pi_1F_1(T^*)\big]. \tag{4} \end{align} Небольшая мысль показывает, что $T^*$ обязательно должно быть таким же, как $T$ в $(1)$. Но есть дополнительная информация, которую можно получить из$(4)$ потому что теперь у нас есть другое описание ценности $T^*$.
$T^*$ такое число, что $\Lambda(T^*)$ равно $\displaystyle\frac{c_0\pi_0}{c_1\pi_1}$.
Из $\displaystyle\Lambda(T^*) = \frac{f_1(T^*)}{f_0(T^*)} = \frac{c_0\pi_0}{c_1\pi_1}$, мы получаем (с некоторой простой алгеброй и утверждением, что $T^*$ равно $T$) что $$c =\frac{c_0}{c_0+c_1} = \frac{\pi_1f_1(T^*)}{\pi_0f_0(T^*)+\pi_1f_1(T^*)} = \frac{\pi_1f_1(T)}{\pi_0f_0(T)+\pi_1f_1(T)}$$ чей вывод озадачил ОП.
Наконец, обратимся к утверждению, что $c$ также равно $\Pr(1\mid T)$. Позволять$Y$ - случайная величина Бернулли такая, что $Y=1$ в любое время $\mathsf H_1$ происходит пока $Y=0$ когда $\mathsf H_0$имеет место. Таким образом, у нас есть это для$i=0,1$, $f_{X\mid Y=i}(x) := f_i(x)$. Сейчас,$X$ а также $Y$не может пользоваться функцией плотности суставов, потому что$Y$ не является непрерывной случайной величиной, и если мы хотим визуализировать $x$-$y$плоскости, то у нас есть две (взвешенные) плотности линий $\pi_0f_0(x)$ а также $\pi_1f_1(x)$ по линиям $y=0$ а также $y=1$ в $x$-$y$самолет. Что такое безусловная плотность$X$? Ну на$X=x$, безусловная плотность $X$ имеет ценность $$f_X(x) = \pi_0f_0(x)+\pi_1f_1(x).\tag{5}$$ Обращая внимание, каково распределение случайной величины Бернулли? $Y$ при условии $X=x$? Ну когда$X=x$, $Y$ принимает ценности $0$ а также $1$ с соответствующими вероятностями \begin{align}\Pr(Y=0\mid X=x) &= \frac{\pi_0f_0(x)}{\pi_0f_0(x)+\pi_1f_1(x)}\tag{6}\\ \Pr(Y=1\mid X=x) &= \frac{\pi_1f_1(x)}{\pi_0f_0(x)+\pi_1f_1(x)}\tag{7} \end{align} что показывает, что $c$ равно $\Pr(Y=1\mid X=T)$ что бумага, которую читает OP, пишет как $\Pr(1|T)$. Это для вас жаргон машинного обучения ...$(6)$ а также $(7)$ правдоподобные значения для условного PDF $Y$? Ну для$i=0,1$, можно найти безусловную вероятность того, что$Y=i$ путем умножения условной вероятности $\Pr(Y=i\mid X=x)$ в формате PDF $X$ и интеграция, которая дает нам \begin{align} \Pr(Y=i) &= \int_{-\infty}^\infty \Pr(Y=i\mid X=x)\cdot f_X(x) \,\mathrm dx\\ &= \int_{-\infty}^\infty \left.\left.\frac{\pi_if_i(x)}{\pi_0f_0(x)+\pi_1f_1(x)} \cdot \right(\pi_0f_0(x)+\pi_1f_1(x)\right) \,\mathrm dx\\ &= \int_{-\infty}^\infty \pi_if_i(x) \,\mathrm dx\\ &= \pi_i \end{align} что, я надеюсь, добавит художественной правдоподобности в остальное безобидное и неубедительное повествование.