Выполняет ли Gradient Boosting n-арное разбиение, где n> 2?

Question

Интересно, выполняют ли такие алгоритмы, как GBM, XGBoost, CatBoost и LightGBM более двух разделений на узле в деревьях решений? Можно ли разбить узел на 3 или более ветвей вместо простого двоичного разделения? Можно ли использовать более одной функции при принятии решения о том, как разделить узел? Можно ли повторно использовать функцию при разделении дочернего узла?

Answer 1

Повышение градиента может быть применено к любой базовой модели, поэтому выполнение этого с помощью дерева решений семейства Куинлан (которое допускает такое разбиение с более высокой степенью арности для категориальных функций) должно сделать это возможным. Однако все известные мне реализации деревьев с градиентным усилением (и, конечно же, XGBoost, CatBoost, LightGBM) используют CART в качестве модели дерева, поэтому вы не получите ничего, кроме двоичных деревьев. (Эти GBM действительно немного изменяют CART, например, при использовании биннинга гистограммы для уменьшения разбиения поисков, но ничего такого радикального, как n-арное разбиение для категорий.)