Gradyan Artırma, n> 2 olduğunda çok sayıda bölme gerçekleştirir mi?
GBM, XGBoost, CatBoost ve LightGBM gibi algoritmaların karar ağaçlarındaki bir düğümde ikiden fazla bölme gerçekleştirip gerçekleştirmediğini merak ediyorum. Bir düğüm, yalnızca ikili bölmeler yerine 3 veya daha fazla dala bölünebilir mi? Bir düğümün nasıl bölüneceğine karar verirken birden fazla özellik kullanılabilir mi? Bir özellik, bir alt düğümü bölmede yeniden kullanılabilir mi?
Yanıtlar
Gradyan artırma herhangi bir temel modele uygulanabilir, bu nedenle bunu bir Quinlan ailesi karar ağacı (kategorik özellikler için bu tür daha yüksek boşluklara izin veren) ile yapmak bunu mümkün kılmalıdır. Bununla birlikte, bildiğim (ve kesinlikle XGBoost, CatBoost, LightGBM) tüm gradyan artırılmış ağaç uygulamaları ağaç modeli olarak CART kullanıyor, bu nedenle ikili ağaçlardan başka bir şey elde edemezsiniz. (Bu GBM'ler, CART'ı biraz değiştirir, örneğin, bölünmüş aramaları azaltmak için histogram gruplamayı kullanırken, ancak kategorikler için çok yönlü bölmeler kadar sert hiçbir şey yoktur.)