Ekspresi ensembling

Question

Saya punya dua model, $m_1$ dan $m_2$, dan saya ingin menggabungkannya menjadi model akhir. Saya ingin bisa lebih berbobot satu atau lebih menurut pencarian grid. Ada dua gagasan utama yang muncul di benak saya saat melakukannya:

• Tentukan keluarga model $m_1 \cdot a + m_2 \cdot (1 - a)$, dimana $0 < a < 1$, temukan $a$ yang memberikan skor terbaik.
• Tentukan keluarga model $m_1^a \cdot m_2^{1 - a}$, dimana $0 < a < 1$, temukan $a$ yang memberikan skor terbaik.

Namun, dalam kasus tertentu, saya telah melihat model top di kompetisi Kaggle melakukan hal-hal yang cukup berbeda, seperti memiliki model bentuk akhir.$m_1^a + m_2^b$.

Pertanyaan saya adalah, apa keuntungan dan kerugian dari setiap solusi? Kapan mereka bekerja lebih baik dan kapan mereka bekerja lebih buruk? Kapan jenis ensembel ketiga cocok, dan adakah heuristik yang harus disetel$a$ dan $b$?

Answer 1

Itu adalah pertanyaan empiris. Jawabannya akan berubah untuk model yang berbeda dan kumpulan data yang berbeda.

Pendekatan terbaik akan menggunakan validasi silang untuk melihat teknik ensembling mana yang memiliki skor terbaik pada metrik evaluasi untuk data yang diberikan.

Answer 2

Anda dapat membuat pertanyaan yang sama dengan setiap algoritme Machine Learning, dan jawabannya tetap sangat mirip.

Apa keuntungan dari regresi Linear dibandingkan Pohon Keputusan? Untuk menjawab ini, Anda dapat mendefinisikannya secara matematis. Dalam kasus Anda, definisi matematika tampaknya mudah: mean tertimbang atau mean geometris.

Kapan model mana pun bekerja lebih baik oleh model lain? Cobalah dalam validasi silang.

Sayangnya, metodologi ilmiah dalam Machine Learning dilakukan dengan cara coba-coba. Mengatakan apa yang akan menjadi nilai hyperparameter sebelum menyesuaikan model tidak dapat diandalkan.

Anda "membuktikan" bahwa algoritme berfungsi di ML saat Anda menjalankannya melalui sekumpulan kumpulan data dan performanya lebih baik daripada yang lain.

Kembali ke pertanyaan Anda, apa yang terjadi di kaggle cenderung menjadi hal yang paling teknis lanjutan. Jadi jika itu ada, patut dicoba.

Answer 3

Saya setuju dengan Brain. Solusi yang akan bekerja lebih baik, adalah solusi yang lebih sesuai dengan data Anda.

Harap dicatat bahwa jika Anda hanya memiliki satu parameter, Anda dapat memperoleh nilai optimal daripada melakukan pencarian grid. Solusi keluarga Anda adalah kami dibatasi jadi saya tidak mengharapkan keuntungan yang signifikan tetapi tidak ada alasan untuk tidak menggunakannya.