Le Gradient Boosting effectue-t-il des fractionnements n-aires où n> 2?
Je me demande si des algorithmes tels que GBM, XGBoost, CatBoost et LightGBM effectuent plus de deux fractionnements au niveau d'un nœud dans les arbres de décision? Un nœud peut-il être divisé en 3 branches ou plus au lieu de simples divisions binaires? Peut-on utiliser plusieurs fonctionnalités pour décider comment diviser un nœud? Une fonctionnalité peut-elle être réutilisée lors du fractionnement d'un nœud descendant?
Réponses
L'amplification de gradient peut être appliquée à n'importe quel modèle de base, donc le faire avec un arbre de décision de la famille Quinlan (qui permet de telles divisions de plus haute arité pour les caractéristiques catégorielles) devrait rendre cela possible. Cependant, toutes les implémentations d'arbres à gradient boosté que je connais (et certainement XGBoost, CatBoost, LightGBM) utilisent toutes CART comme modèle d'arbre, vous n'obtiendrez donc rien d'autre que des arbres binaires. (Ces GBM modifient un peu CART, par exemple en utilisant le binning d'histogramme pour réduire les recherches fractionnées, mais rien d'aussi radical que les fractionnements n-aires pour les catégories.)