Validasi Nested Cross berulang

Question

Saya sadar bahwa validasi silang bersarang digunakan untuk penyetelan hyperparameter dan pemilihan model dan validasi silang k-fold berulang digunakan untuk meningkatkan perkiraan kinerja model.

Pertanyaan saya adalah: dapatkah validasi silang bersarang diulang?

Seperti yang dijelaskan di sini , validasi K-fold cross bekerja sebagai berikut:

1. Partition the training set into ‘K’ subsets
2. In each iteration, take ‘K minus 1’ subsets for model training, and keep 1 subset (holdout set) for model testing.
3. Further partition the ‘K minus 1’ training set into ‘K’ subsets, and iteratively use the new ‘K minus 1’ subset and the ‘validation set’ for parameter tuning (grid search). The best parameter identified in this step is used to test on the holdout set in step 2.

Dapatkah proses ini diulangi N kali, untuk partisi yang berbeda dari kumpulan data, seperti yang akan Anda lakukan dalam validasi silang repetead?

Saya menemukan pertanyaan ini yang tampaknya terkait dengan pertanyaan saya, tetapi sayangnya tidak ada jawaban yang diterima.

Saya juga menemukan makalah ini di mana mereka tampaknya menjelaskan prosedur yang saya tanyakan, meskipun saya belum melihatnya dijelaskan di tempat lain.

Answer 1

Ya, Anda dapat mengulangi validasi silang (keduanya atau salah satunya, jika perlu).

---

Validasi silang berulang meningkatkan estimasi kesalahan generalisasi dengan cara tertentu: ini memungkinkan Anda untuk dengan mudah mengukur dan mengurangi ketidakpastian acak karena ketidakstabilan model (prediksi tidak stabil).

Saya merasa lebih nyaman untuk memikirkan cross valiation bersarang sedikit berbeda :

• Validasi luar: tujuannya adalah untuk mengukur kesalahan generalisasi dari model yang sepenuhnya disetel dan dapat digunakan. CV berulang adalah kandidat yang baik untuk ini.
• Pelatihan model yang sepenuhnya disetel: Seperti biasa, fungsi pelatihan penyetelan sendiri ini adalah kotak hitam untuk validasi luar. Prosedur pelatihan secara internal dapat menggunakan validasi silang lebih lanjut (dalam), yang tentu saja dapat diulangi juga.

IMHO keuntungan dari sudut pandang ini

• Segera jelas bahwa detail validasi dapat dipilih secara independen untuk prosedur validasi luar vs. dalam.
  • Anda dapat menyesuaikan / mengatur prosedur validasi bagian dalam yang sesuai untuk jenis model yang Anda sesuaikan.
• Ini secara otomatis akan mengarah ke pengaturan bersarang dengan benar.
• Pengodean dengan cara ini melindungi dari kesalahan pengindeksan yang membocorkan data pengujian luar ke bagian penyetelan.
• Model terakhir dapat dilatih seperti biasa: dengan memanggil fungsi pelatihan penyetelan otomatis di seluruh kumpulan data.