H2O AutoML'de liderlik tablosu

Question

H2O Auto ML kullanmayı öğrenmeye yeni başladım ve ikili bir Sınıflandırma modeli deniyorum.

Modelin sıralamasının neden her çalıştırmada değiştiğini anlamaya çalışıyorum.

İlk 5 model ilk 5'te kalır, ancak modeller biraz daha yüksek veya daha düşük bir sıraya geçer.

DRF bir kez 2. sırada yer alırken, diğerinde 3. sırada yer aldı.

Değişikliklere neden olduğunu tahmin edebileceğim birkaç neden var.

1. Algoritmanın çekirdeği her seferinde değişir
2. Atanmış lider panosu çerçevesi yok
3. RF, her seferinde farklı ağaçların inşa edilmesiyle sonuçlanan sürecin bir parçası olarak rastgele örneklemeyi içerir.
4. Lider panosu değişmeyecektir, değişiklikten veri / koddaki bazı diğer değişiklikler sorumludur.

Lütfen bunu daha iyi anlamama yardım eder misin?

Answer 1

Görünüşe göre tohum koymuyorsunuz, bu yüzden oradan başlamalısınız. Doğası gereği rasgeleliğe sahip algoritmaların (örn. XGBoost, GBM, Random Forest) her seferinde aynı cevabı üretmesi için, rastgele bir tohum ayarlanmalıdır (en azından). H2O AutoML'de tek bir seedargüman vardır (tüm bireysel algoritmalara aktarılır ) ve her seferinde aynı değere ayarlarsanız , modellerin çoğu tekrarlanan çalışmalarda aynı olacaktır. Varsayılan olarak, AutoML rastgele kıvrımlarla çapraz doğrulama da yapar, bu nedenle bu aynı zamanda her seferinde aynı kıvrımların kullanılmasını garanti eder.

Birkaç uyarı var - H2O Derin Öğrenme, bir tohum belirleseniz bile yeniden üretilemez (varsayılan olarak), bu nedenle bu modeller her zaman değişecektir. "Tüm Modeller" Yığılmış Topluluk, bir grup diğer modele ek olarak Derin Öğrenme modellerini kullandığından, son grup da yeniden üretilemez.

Son olarak, AutoML'nin ne kadar süre çalışması gerektiğini kontrol etmek için max_modelsyerine öğesini kullanmalısınız max_runtime_secs- aksi takdirde, sonraki çalıştırmalarda lider panosunda (ve Tüm Modeller Yığılmış Grupta) farklı sayıda model alabilirsiniz.