Gradyan Artırma, n> 2 olduğunda çok sayıda bölme gerçekleştirir mi?

Dec 18 2020

GBM, XGBoost, CatBoost ve LightGBM gibi algoritmaların karar ağaçlarındaki bir düğümde ikiden fazla bölme gerçekleştirip gerçekleştirmediğini merak ediyorum. Bir düğüm, yalnızca ikili bölmeler yerine 3 veya daha fazla dala bölünebilir mi? Bir düğümün nasıl bölüneceğine karar verirken birden fazla özellik kullanılabilir mi? Bir özellik, bir alt düğümü bölmede yeniden kullanılabilir mi?

Yanıtlar

2 BenReiniger Dec 18 2020 at 22:27

Gradyan artırma herhangi bir temel modele uygulanabilir, bu nedenle bunu bir Quinlan ailesi karar ağacı (kategorik özellikler için bu tür daha yüksek boşluklara izin veren) ile yapmak bunu mümkün kılmalıdır. Bununla birlikte, bildiğim (ve kesinlikle XGBoost, CatBoost, LightGBM) tüm gradyan artırılmış ağaç uygulamaları ağaç modeli olarak CART kullanıyor, bu nedenle ikili ağaçlardan başka bir şey elde edemezsiniz. (Bu GBM'ler, CART'ı biraz değiştirir, örneğin, bölünmüş aramaları azaltmak için histogram gruplamayı kullanırken, ancak kategorikler için çok yönlü bölmeler kadar sert hiçbir şey yoktur.)