여러 다중 클래스 모델의 확률 결합

Question

입력 세트가 5 개 클래스 중 하나에 속하는지 여부를 예측하는 두 개의 다중 클래스 모델 (A 및 B)이 있다고 가정 해 보겠습니다. 각 모델 예측은 합계가 1 인 확률입니다. 예를 들어 다음을 상상해보십시오.

+---------+---------+---------+--------+
|         | Model A | Model B | Result |
+---------+---------+---------+--------+
| Class 1 | 0.2     | 0.4     | ?      |
+---------+---------+---------+--------+
| Class 2 | 0.3     | 0.3     | ?      |
+---------+---------+---------+--------+
| Class 3 | 0.15    | 0.2     | ?      |
+---------+---------+---------+--------+
| Class 4 | 0.25    | 0.05    | ?      |
+---------+---------+---------+--------+
| Class 5 | 0.1     | 0.05    | ?      |
+---------+---------+---------+--------+

이 확률을 여전히 합이 1 인 단일 확률로 결합하는 방법은 무엇입니까?

Answer 1

가장 간단한 접근 방식은 각 클래스에 대한 예측의 평균을 취하는 것입니다. 무게를 사용할 수 있습니다.

첫 번째 모델이 예측을 제공한다고 가정합니다. $p_1, \dots, p_5$ 두 번째는 $q_1, \dots, q_5$. 그때

$$\sum_{i=1}^5 p_i=\sum_{i=1}^5 q_i = 1.$$

아무 무게 나 $0<w<1$, 결합 된 예측을 다음과 같이 정의합니다. $r_i := wp_i+(1-w)q_i$. 그때

$$ \sum_{i=1}^5 r_i = \sum_{i=1}^5\big(wp_i+(1-w)q_i\big) = w\sum_{i=1}^5 p_i+(1-w)\sum_{i=1}^5 q_i = w+(1-w) = 1. $$

따라서 여러분의 예측은 다시 1이됩니다. 이것은 세 개 이상의 분류 자에서도 작동합니다.

가중치로 두 분류기의 과거 성과를 사용할 수 있습니다. 또는 비가 중 평균을 취하거나$w=\frac{1}{2}$, "최적"가중치를 추정하는 것보다 더 나은 경우가 많습니다 ( Claeskens et al., 2016, IJF ).

또는 다른 방법을 사용하여 예측을 결합하고 나중에 결과를 다시 정규화하여 합계를 1로 만들 수 있습니다.