O Gradient Boosting executa divisões n-árias onde n> 2?

Question

Eu me pergunto se algoritmos como GBM, XGBoost, CatBoost e LightGBM executam mais de duas divisões em um nó nas árvores de decisão? Um nó pode ser dividido em 3 ou mais ramos em vez de divisões meramente binárias? Mais de um recurso pode ser usado para decidir como dividir um nó? Um recurso pode ser reutilizado na divisão de um nó descendente?

Answer 1

O aumento de gradiente pode ser aplicado a qualquer modelo base, portanto, fazê-lo com uma árvore de decisão da família Quinlan (que permite essas divisões de maior aridade para recursos categóricos) deve tornar isso possível. No entanto, todas as implementações de árvores com aumento de gradiente que eu conheço (e certamente XGBoost, CatBoost, LightGBM) usam CART como seu modelo de árvore, então você não obterá nada além de árvores binárias. (Esses GBMs modificam um pouco o CART, por exemplo, ao usar o binning de histograma para reduzir as pesquisas de divisão, mas nada tão drástico quanto divisões n-árias para categóricos.)