Wiederholte Nested Cross-Validierung

Question

Mir ist bekannt, dass die verschachtelte Kreuzvalidierung für die Optimierung von Hyperparametern und die Modellauswahl verwendet wird und dass die wiederholte k-fache Kreuzvalidierung verwendet wird, um die geschätzte Leistung des Modells zu verbessern.

Meine Frage ist: Kann eine verschachtelte Kreuzvalidierung wiederholt werden?

Wie hier beschrieben , funktioniert die verschachtelte K-fache Kreuzvalidierung wie folgt:

1. Partition the training set into ‘K’ subsets
2. In each iteration, take ‘K minus 1’ subsets for model training, and keep 1 subset (holdout set) for model testing.
3. Further partition the ‘K minus 1’ training set into ‘K’ subsets, and iteratively use the new ‘K minus 1’ subset and the ‘validation set’ for parameter tuning (grid search). The best parameter identified in this step is used to test on the holdout set in step 2.

Kann dieser Vorgang für verschiedene Partitionen des Datensatzes N-mal wiederholt werden, so wie Sie es bei der wiederholten Kreuzvalidierung tun würden?

Ich bin auf diese Frage gestoßen, die mit meiner Frage zusammenhängt, aber leider keine akzeptierte Antwort hat.

Ich bin auch auf dieses Papier gestoßen, in dem sie das Verfahren zu beschreiben scheinen, nach dem ich frage, obwohl ich es an keiner anderen Stelle beschrieben habe.

Answer 1

Ja, Sie können die Kreuzvalidierungen wiederholen (beide oder eine von ihnen, falls erforderlich).

---

Die wiederholte Kreuzvalidierung verbessert die Schätzung des Generalisierungsfehlers auf eine bestimmte Weise: Sie ermöglicht die einfache Messung und Reduzierung der zufälligen Unsicherheit aufgrund von Modellinstabilität (instabile Vorhersagen).

Ich finde es bequemer, die verschachtelte Kreuzbewertung etwas anders zu betrachten :

• Äußere Validierung: Ziel ist es, den Generalisierungsfehler eines vollständig abgestimmten, verwendbaren Modells zu messen. Wiederholter Lebenslauf ist ein guter Kandidat dafür.
• Training eines vollständig abgestimmten Modells: Wie üblich ist diese selbstoptimierende Trainingsfunktion eine Black Box für die äußere Validierung. Das Trainingsverfahren kann intern weitere (innere) Kreuzvalidierungen verwenden, die natürlich auch wiederholt werden können.

IMHO sind die Vorteile dieser Sichtweise

• Es ist sofort klar, dass die Details der Validierungen unabhängig voneinander für die äußeren und inneren Validierungsverfahren ausgewählt werden können.
  • Sie können das innere Validierungsverfahren an den von Ihnen eingestellten Modelltyp anpassen / organisieren.
• Dies führt automatisch zu einer korrekt verschachtelten Einrichtung.
• Die Codierung auf diese Weise schützt vor Indizierungsfehlern, durch die äußere Testdaten in den Tuning-Teil gelangen.
• Das endgültige Modell kann wie gewohnt trainiert werden: durch Aufrufen der Selbstoptimierungs-Trainingsfunktion für den gesamten Datensatz.