calibração de probabilidade e pontuação de Brier
Suponha que eu tenha um problema de classificação binária. O resultado da classificação em que estou mais interessado são as probabilidades bem calibradas.
A primeira maneira de verificar isso é o gráfico de calibração (ou curva de confiabilidade).
A pergunta : é justo julgar sobre a calibração com base na pontuação de Brier?
Suponha que temos dados "suficientes". O classificador com pontuação de Brier menor forneceria uma curva de confiabilidade bastante melhor?
Minha preocupação vem do fato de que a probabilidade de um classificador são as probabilidades condicionais. Portanto, não vejo a intuição de aplicar o escore de Brier às probabilidades condicionais.
Respostas
A resposta curta é que só faz sentido calcular a pontuação de Brier para as probabilidades condicionais,$\hat y = P(y=1|X)$, Onde $y$ é o resultado, $\hat y$ é a sua previsão, e $X$são seus preditores. Em outras palavras,$\hat y$é a probabilidade de que$y=1$, condicional a este valor particular dos preditores, $X$.
A pontuação de Brier, neste caso, é apenas
$$ \frac{1}{N}\sum_i^N (\hat y_i - y_i)^2 $$
Que outros tipos de probabilidade poderia haver? A única outra opção aqui é a probabilidade marginal ,$P(y=1)$. Podemos estimar isso simplesmente contando a proporção de vezes$y=1$nos dados. Claramente, não faz sentido usar este valor ao calcular a pontuação de Brier!
O classificador com pontuação de Brier menor forneceria uma curva de confiabilidade bastante melhor?
Sim. Se o seu classificador prevê$\hat y = 1$ em todos os casos onde $y = 1$ e $\hat y = 0$ Onde $y = 0$, tem uma pontuação Brier de $0$. Se fizer o oposto, terá uma pontuação de$\pm1^2 = 1$. Na maioria dos casos, tais previsões perfeitas não serão possíveis, mas um bom classificador ainda pode ser bem calibrado, por exemplo, prevendo$\hat y = 0.5$ em casos onde $y = 1$ metade do tempo e $y=0$o resto. Um classificador que faz isso terá a pontuação de Brier mais baixa possível em seus dados.