Führt Gradient Boosting n-ary Splits durch, bei denen n> 2 ist?
Ich frage mich, ob Algorithmen wie GBM, XGBoost, CatBoost und LightGBM mehr als zwei Teilungen an einem Knoten in den Entscheidungsbäumen ausführen. Kann ein Knoten in 3 oder mehr Zweige anstatt nur in binäre Teilungen aufgeteilt werden? Kann mehr als eine Funktion verwendet werden, um zu entscheiden, wie ein Knoten aufgeteilt werden soll? Kann eine Funktion beim Aufteilen eines Nachkommenknotens wiederverwendet werden?
Antworten
Die Gradientenverstärkung kann auf jedes Basismodell angewendet werden. Daher sollte dies mit einem Entscheidungsbaum der Quinlan-Familie (der solche Aufteilungen mit höherer Arität für kategoriale Merkmale ermöglicht) möglich sein. Alle mir bekannten Implementierungen von Bäumen mit Gradientenverstärkung (und sicherlich XGBoost, CatBoost, LightGBM) verwenden jedoch CART als Baummodell, sodass Sie nur binäre Bäume erhalten. (Diese GBMs ändern CART ein wenig, z. B. indem sie Histogramm-Binning verwenden, um die geteilten Suchvorgänge zu reduzieren, aber nichts ist so drastisch wie n-ary Splits für Kategorien.)