勾配ブースティングは、n> 2の場合にn-ary分割を実行しますか？
Dec 18 2020
GBM、XGBoost、CatBoost、LightGBMなどのアルゴリズムが決定木のノードで3つ以上の分割を実行するかどうか疑問に思いますか？ノードを単なるバイナリ分割ではなく、3つ以上のブランチに分割できますか？ノードを分割する方法を決定する際に複数の機能を使用できますか？子孫ノードの分割に機能を再利用できますか？
回答
2 BenReiniger Dec 18 2020 at 22:27
勾配ブースティングは任意の基本モデルに適用できるため、Quinlanファミリーの決定木（カテゴリ機能のこのような高アリティ分割を可能にする）を使用して行うと、これが可能になります。ただし、私が知っている勾配ブーストツリー（および確かにXGBoost、CatBoost、LightGBM）のすべての実装は、ツリーモデルとしてCARTを使用しているため、バイナリツリー以外は取得できません。（これらのGBMは、たとえばヒストグラムビニングを使用して分割検索を減らすなど、CARTを少し変更しますが、カテゴリのn-ary分割ほど大幅な変更はありません。）