GradientBoostingClassifier의 내부에있는 DecisionTreeRegressor

Question

내 GradientBoostingClassifier 모델의 약한 추정량을 검사하고 있습니다. 이 모델은 이진 클래스 데이터 세트에 적합했습니다.

이 앙상블 분류기 아래의 모든 약한 추정자는 의사 결정 트리 회귀 자 객체라는 것을 알았습니다. 이것은 나에게 직관적으로 이상하게 보입니다.

저는 앙상블에서 첫 번째 의사 결정 트리를 가져 와서 전체 데이터 세트에서 독립적으로 예측하는 데 사용했습니다. 데이터 세트의 고유 한 답변은 다음과 같습니다.

array([-2.74, -1.94, -1.69, ...])

내 질문은 : 왜 그리고 어떻게 그래디언트 부스팅 분류 기가 약한 추정치를 0과 1로 묶이지 않은 회귀 작업으로 전환합니까? 궁극적으로 GradientBoostingClassifier는 0과 1 사이의 의사 확률을 출력합니다. 왜 약한 추정 자의 앙상블이 똑같은 일을하지 않습니까?

Answer 1

더 많은 문서를 읽은 후 분류 사례를 다루는 섹션을 찾았습니다. 여기 에서 찾을 수 있습니다 . 또한이 통계 퀘스트 는 매우 유용했습니다.

1.11.4.5.2. 분류

분류를위한 기울기 부스팅은 회귀 사례와 매우 유사합니다. 그러나 트리의 합은 예측과 동일하지 않습니다. 트리가 연속 값을 예측하기 때문에 클래스가 될 수 없습니다.

값에서 클래스 또는 확률로의 매핑은 손실에 따라 다릅니다. 이탈도 (또는 로그 손실)의 경우 포지티브 클래스에 속하는 확률은 시그 모이 드 함수가있는 곳으로 모델링됩니다. 다중 클래스 분류의 경우 각 반복에서 K 트리 (K 클래스 용)가 빌드됩니다. 클래스 k에 속하는 확률은 값의 소프트 맥스로 모델링됩니다.

분류 작업의 경우에도 부분 추정기는 여전히 분류자가 아니라 회귀 자입니다. 이는 하위 추정기가 항상 연속적인 양인 (음의) 기울기를 예측하도록 훈련 되었기 때문입니다.