DecisionTreeRegressor dưới lớp vỏ của GradientBoostingClassifier

Question

Tôi đang kiểm tra các trình ước lượng yếu của mô hình GradientBoostingClassifier của mình. Mô hình này phù hợp với tập dữ liệu lớp nhị phân.

Tôi nhận thấy rằng tất cả các bộ ước lượng yếu trong bộ phân loại tổng hợp này là các đối tượng hồi quy cây quyết định. Điều này có vẻ lạ đối với tôi theo trực giác.

Tôi lấy cây quyết định đầu tiên trong nhóm và sử dụng nó để dự đoán độc lập trên toàn bộ tập dữ liệu của mình. Các câu trả lời duy nhất từ ​​tập dữ liệu như sau:

array([-2.74, -1.94, -1.69, ...])

Câu hỏi của tôi là: tại sao và làm thế nào mà bộ phân loại tăng cường độ dốc biến các bộ ước lượng yếu thành các tác vụ hồi quy (thay vì các tác vụ phân loại) không bị ràng buộc bởi 0 và 1? Cuối cùng thì GradientBoostingClassifier xuất ra một xác suất giả từ 0 đến 1: tại sao nhóm các công cụ ước lượng yếu lại không làm như vậy?

Answer 1

Sau khi đọc qua nhiều tài liệu hơn, tôi tìm thấy phần bao gồm trường hợp phân loại. Nó có thể được tìm thấy ở đây . Ngoài ra, quy chế này rất hữu ích.

1.11.4.5.2. Phân loại

Tăng cường độ dốc để phân loại rất giống với trường hợp hồi quy. Tuy nhiên, tổng của các cây không đồng nhất với một dự đoán: nó không thể là một lớp, vì các cây dự đoán các giá trị liên tục.

Ánh xạ từ giá trị đến một lớp hoặc một xác suất phụ thuộc vào tổn thất. Đối với độ lệch (hoặc log-loss), xác suất thuộc về lớp dương được mô hình hóa dưới dạng hàm sigmoid ở đâu. Đối với phân loại đa lớp, K cây (cho K lớp) được xây dựng ở mỗi lần lặp. Xác suất thuộc lớp k được mô hình hóa dưới dạng softmax của các giá trị.

Lưu ý rằng ngay cả đối với một nhiệm vụ phân loại, bộ ước lượng phụ vẫn là một bộ hồi quy, không phải là một bộ phân loại. Điều này là do các nhà ước lượng phụ được đào tạo để dự đoán các gradient (âm), luôn là các đại lượng liên tục.