DecisionTreeRegressor bajo el capó de GradientBoostingClassifier
Estoy inspeccionando los estimadores débiles de mi modelo GradientBoostingClassifier. Este modelo se ajustó a un conjunto de datos de clase binaria.
Noté que todos los estimadores débiles bajo este clasificador de conjunto son objetos regresores de árboles de decisión. Esto me parece extraño intuitivamente.
Tomé el primer árbol de decisiones del conjunto y lo usé para predecir de forma independiente en todo mi conjunto de datos. Las respuestas únicas del conjunto de datos fueron las siguientes:
array([-2.74, -1.94, -1.69, ...])
Mi pregunta es: ¿por qué y cómo el clasificador de aumento de gradiente convierte a los estimadores débiles en tareas regresoras (en lugar de tareas de clasificación) que no están limitadas por 0 y 1? En última instancia, el GradientBoostingClassifier genera una pseudoprobabilidad entre 0 y 1: ¿por qué el conjunto de estimadores débiles no está haciendo lo mismo?
Respuestas
Después de leer más documentación, encontré la sección que cubre el caso de clasificación. Se puede encontrar aquí . Además, esta estadística fue muy útil.
1.11.4.5.2. Clasificación
El aumento de gradiente para la clasificación es muy similar al caso de regresión. Sin embargo, la suma de los árboles no es homogénea para una predicción: no puede ser una clase, ya que los árboles predicen valores continuos.
El mapeo del valor a una clase o probabilidad depende de la pérdida. Para la desviación (o pérdida logarítmica), la probabilidad que pertenece a la clase positiva se modela como dónde es la función sigmoidea. Para la clasificación multiclase, los árboles K (para las clases K) se construyen en cada una de las iteraciones. La probabilidad que pertenece a la clase k se modela como un softmax de los valores.
Tenga en cuenta que incluso para una tarea de clasificación, el subestimador sigue siendo un regresor, no un clasificador. Esto se debe a que los subestimadores están entrenados para predecir gradientes (negativos), que siempre son cantidades continuas.