Bagaimana membandingkan Random Forest dengan model lain

Question

Saya baru mengenal Pembelajaran Mesin dan saya mencoba untuk menghilangkan kesalahan Out of Bag Error di Random Forests dan penggunaannya.

Katakanlah kita memiliki kumpulan data. Pertama kita menggunakan seluruh dataset (tanpa membaginya) untuk mendapatkan Random Forest dan kesalahan Out of Bag-nya. Kemudian kami membagi kumpulan data, melatih Jaringan Neural pada bagian pelatihan dan mengujinya pada bagian pengujian dari kumpulan data.

Dapatkah saya memilih di antara dua model dengan membandingkan kesalahan Out of Bag dari hutan acak dengan kesalahan uji total Jaringan Syaraf? Apakah masuk akal ?

Answer 1

Kami biasanya mengandalkan pengambilan sampel untuk memvalidasi hasil Model kami.
Kami membuat latih / uji untuk menguji model pada kumpulan data terpisah yang tidak terlihat.
Jika kita melakukan penyetelan Hyperparameter, kita menyimpan set lain sebagai set validasi untuk memvalidasi hasil hyperparameter baru.

Hutan acak membangun setiap pohon baru pada sampel Bagged dari sampel asli (data kereta api).
Bagging berarti pengambilan sampel dilakukan dengan penggantian yaitu Anda memilih satu titik data, meletakkannya kembali dan kemudian memilih yang berikutnya .

Dalam proses ini, banyak data duplikat diambil sampelnya dan banyak titik data tidak diambil sampelnya.
~ 63% dari titik data dipilih Baca di sini
Titik data lainnya yang "tidak dipilih" 37% disebut sampel Keluar dari Tas.
Karenanya, cara Bagging, dan RF dirancang, kami mendapat set data lain untuk melakukan validasi kami. Ini kesempatan untuk melakukan tingkat validasi dengan sampel ini.

Apa artinya,

• Anda mendapatkan 37% poin data untuk memvalidasi model Anda
• Tapi OOB belum selesai dengan Ensemble yang sudah dewasa. Itu dilakukan dengan menggunakan semua pohon dalam ansambel hutan acak yang titik data tertentu dihilangkan selama pelatihan. Baca di sini
• Ini tidak setara dengan K-Fold atau Latih / uji pada RF yang sepenuhnya dibangun tetapi ini memberikan gambaran yang baik tentang kesalahan validasi yang akan datang.