アンサンブル表現
私は2つのモデルを持っています、 $m_1$ そして $m_2$、そして私はそれらを最終的なモデルにまとめたいと思います。グリッド検索に従って、どちらか一方に重みを付けられるようにしたい。そうするときに頭に浮かぶ2つの主なアイデアがあります：
- モデルのファミリーを定義する $m_1 \cdot a + m_2 \cdot (1 - a)$、 どこ $0 < a < 1$、 を見つける $a$ それが最高のスコアを与えます。
- モデルのファミリーを定義する $m_1^a \cdot m_2^{1 - a}$、 どこ $0 < a < 1$、 を見つける $a$ それが最高のスコアを与えます。
ただし、場合によっては、Kaggleコンテストのトップモデルが、フォームの最終モデルを持つなど、かなり異なることをしているのを見てきました。$m_1^a + m_2^b$。
私の質問は、すべてのソリューションの長所と短所は何ですか？いつうまく機能し、いつ悪くなるのでしょうか。3番目の種類のアンサンブルが適しているのはいつですか。また、調整するヒューリスティックはありますか。$a$ そして $b$？
回答
それは経験的な質問です。答えは、モデルやデータセットによって異なります。
最良のアプローチは、交差検定を使用して、特定のデータの評価メトリックでどのアンサンブル手法が最高のスコアを持っているかを確認することです。
すべての機械学習アルゴリズムで同じ質問をすることができますが、それでも答えは非常に似ています。
デシジョンツリーに対する線形回帰の利点は何ですか？これに答えるために、あなたはそれらを数学的に定義することができます。あなたの場合、数学的な定義は簡単に思えます：加重平均または幾何平均。
どのモデルが他のモデルよりもうまく機能するのはいつですか？相互検証を試してみてください。
悲しいことに、機械学習の科学的方法論は試行錯誤によって行われます。モデルをフィッティングする前にハイパーパラメータの値がどうなるかを言うのは信頼できません。
一連のデータセットを介してアルゴリズムを実行すると、アルゴリズムがMLで機能し、他のアルゴリズムよりもパフォーマンスが優れていることを「証明」します。
あなたの質問に戻ると、kaggleで何が起こるかは最も技術的に進んだものになる傾向があります。したがって、そこにある場合は、試してみる価値があります。
私はBrainに同意します。より適切に機能するソリューションは、データにより適したソリューションです。
パラメータが1つしかない場合は、グリッド検索を実行する代わりに最適値を導出できることに注意してください。あなたのソリューションファミリーは制限されているので、大きな利益は期待できませんが、それを使用しない理由はありません。