GradientBoostingClassifier altında DecisionTreeRegressor
GradientBoostingClassifier modelimin zayıf tahmin edicilerini inceliyorum. Bu model, bir ikili sınıf veri kümesine uyuyordu.
Bu topluluk sınıflandırıcı altındaki tüm zayıf tahmin edicilerin karar ağacı regresör nesneleri olduğunu fark ettim. Bu bana sezgisel olarak garip geliyor.
Topluluktaki ilk karar ağacını aldım ve veri setimin tamamında bağımsız olarak tahmin yapmak için kullandım. Veri kümesindeki benzersiz yanıtlar şunlardı:
array([-2.74, -1.94, -1.69, ...])
Sorum şu: gradyan artırma sınıflandırıcısı neden ve nasıl zayıf tahmin edicileri 0 ve 1'e bağlı olmayan regresör görevlerine (sınıflandırma görevleri yerine) dönüştürüyor? Sonuçta GradientBoostingClassifier, 0 ile 1 arasında bir sözde olasılık verir: neden zayıf tahminçiler topluluğu aynı şeyi yapmıyor?
Yanıtlar
Belgelerin daha fazlasını okuduktan sonra, sınıflandırma durumunu kapsayan bölümü buldum. Bu bulunabilir burada . Ayrıca bu statquest çok faydalı oldu.
1.11.4.5.2. Sınıflandırma
Sınıflandırma için gradyan artırma, regresyon durumuna çok benzer. Bununla birlikte, ağaçların toplamı bir tahmin için homojen değildir: ağaçlar sürekli değerleri öngördüğü için bir sınıf olamaz.
Değerden bir sınıfa veya bir olasılığa eşleme, kayba bağlıdır. Sapma (veya log kaybı) için, pozitif sınıfa ait olasılık, sigmoid fonksiyonun nerede olduğu şeklinde modellenir. Çok sınıflı sınıflandırma için, yinelemelerin her birinde K ağaçları (K sınıfları için) oluşturulur. K sınıfına ait olasılık, değerlerin bir softmax'ı olarak modellenmiştir.
Bir sınıflandırma görevi için bile, alt tahmin edicinin bir sınıflandırıcı değil, hala bir regresör olduğunu unutmayın. Bunun nedeni, alt tahmincilerin her zaman sürekli miktarlar olan (negatif) gradyanları tahmin etmek için eğitilmeleridir.