DecisionTreeRegressor unter der Haube von GradientBoostingClassifier

Question

Ich überprüfe die schwachen Schätzer meines GradientBoostingClassifier-Modells. Dieses Modell wurde in einen Binärklassendatensatz eingepasst.

Mir ist aufgefallen, dass alle schwachen Schätzer unter diesem Ensemble-Klassifikator Entscheidungsbaum-Regressorobjekte sind. Das kommt mir intuitiv komisch vor.

Ich nahm den ersten Entscheidungsbaum im Ensemble und verwendete ihn, um meinen gesamten Datensatz unabhängig vorherzusagen. Die eindeutigen Antworten aus dem Datensatz lauteten wie folgt:

array([-2.74, -1.94, -1.69, ...])

Meine Frage ist: Warum und wie verwandelt der Gradientenverstärkungsklassifizierer die schwachen Schätzer in Regressoraufgaben (anstelle von Klassifizierungsaufgaben), die nicht an 0 und 1 gebunden sind? Letztendlich gibt der GradientBoostingClassifier eine Pseudowahrscheinlichkeit zwischen 0 und 1 aus: Warum macht das Ensemble schwacher Schätzer nicht dasselbe?

Answer 1

Nachdem ich mehr Dokumentation gelesen hatte, fand ich den Abschnitt, der den Klassifizierungsfall abdeckt. Es kann hier gefunden werden . Zusätzlich war diese Aussage sehr nützlich.

1.11.4.5.2. Einstufung

Die Gradientenverstärkung für die Klassifizierung ist dem Regressionsfall sehr ähnlich. Die Summe der Bäume ist jedoch nicht homogen zu einer Vorhersage: Sie kann keine Klasse sein, da die Bäume kontinuierliche Werte vorhersagen.

Die Zuordnung vom Wert zu einer Klasse oder einer Wahrscheinlichkeit ist verlustabhängig. Für die Abweichung (oder den logarithmischen Verlust) wird die Wahrscheinlichkeit, die zur positiven Klasse gehört, als die Sigmoidfunktion modelliert. Für die Klassifizierung mehrerer Klassen werden bei jeder der Iterationen K-Bäume (für K-Klassen) erstellt. Die Wahrscheinlichkeit, die zur Klasse k gehört, wird als Softmax der Werte modelliert.

Beachten Sie, dass der Unterschätzer selbst für eine Klassifizierungsaufgabe immer noch ein Regressor und kein Klassifizierer ist. Dies liegt daran, dass die Unterschätzer darauf trainiert sind, (negative) Gradienten vorherzusagen, bei denen es sich immer um kontinuierliche Größen handelt.