Czy Gradient Boosting wykonuje n-arowe podziały, gdzie n> 2?
Zastanawiam się, czy algorytmy takie jak GBM, XGBoost, CatBoost i LightGBM wykonują więcej niż dwa podziały w węźle w drzewach decyzyjnych? Czy węzeł można podzielić na 3 lub więcej gałęzi zamiast zwykłych podziałów binarnych? Czy przy podejmowaniu decyzji o sposobie podziału węzła można użyć więcej niż jednej funkcji? Czy funkcję można ponownie wykorzystać do podziału węzła podrzędnego?
Odpowiedzi
Wzmocnienie gradientowe można zastosować do dowolnego modelu bazowego, więc zrobienie tego z drzewem decyzyjnym rodziny Quinlan (które pozwala na takie podziały o wyższej wartości dla cech jakościowych) powinno to umożliwić. Jednak wszystkie implementacje drzew wzmocnionych gradientem, które znam (a na pewno XGBoost, CatBoost, LightGBM) używają CART jako modelu drzewa, więc nie otrzymasz nic poza drzewami binarnymi. (Te GBM modyfikują trochę CART, np. Stosując binowanie histogramów w celu zredukowania wyszukiwania z podziałem, ale nie ma nic tak drastycznego, jak n-arne podziały dla kategorii.)