¿Gradient Boosting realiza divisiones n-arias donde n> 2?
Me pregunto si algoritmos como GBM, XGBoost, CatBoost y LightGBM realizan más de dos divisiones en un nodo en los árboles de decisión. ¿Se puede dividir un nodo en 3 o más ramas en lugar de simples divisiones binarias? ¿Se puede utilizar más de una función para decidir cómo dividir un nodo? ¿Se puede reutilizar una característica para dividir un nodo descendiente?
Respuestas
El aumento de gradiente se puede aplicar a cualquier modelo base, por lo que hacerlo con un árbol de decisiones de la familia Quinlan (que permite divisiones de mayor aridad para características categóricas) debería hacer esto posible. Sin embargo, todas las implementaciones de árboles potenciados por gradientes que conozco (y ciertamente XGBoost, CatBoost, LightGBM) usan CART como su modelo de árbol, por lo que no obtendrá nada más que árboles binarios. (Estos GBM modifican CART un poco, por ejemplo, al usar la agrupación de histogramas para reducir las búsquedas divididas, pero nada tan drástico como las divisiones n-arias para las categorías categóricas).