Apakah Gradient Boosting melakukan pemisahan n-ary di mana n> 2?
Saya bertanya-tanya apakah algoritme seperti GBM, XGBoost, CatBoost, dan LightGBM melakukan lebih dari dua pemisahan pada satu node di pohon keputusan? Bisakah node dipecah menjadi 3 cabang atau lebih, bukan hanya pemisahan biner? Bisakah lebih dari satu fitur digunakan dalam memutuskan cara membagi node? Bisakah fitur digunakan kembali dalam memisahkan node turunan?
Jawaban
Peningkatan gradien dapat diterapkan ke model dasar apa pun, jadi melakukannya dengan pohon keputusan keluarga Quinlan (yang memungkinkan pemisahan aritas yang lebih tinggi untuk fitur kategori) akan memungkinkan hal ini. Namun, semua implementasi pohon yang didorong gradien yang saya ketahui (dan tentunya XGBoost, CatBoost, LightGBM) semuanya menggunakan CART sebagai model pohon mereka, jadi Anda tidak akan mendapatkan apa pun kecuali pohon biner. (GBM ini memang sedikit memodifikasi CART, misalnya dalam menggunakan histogram binning untuk mengurangi pencarian terpisah, tetapi tidak ada yang sedrastis pemisahan n-ary untuk kategorikal.)