Validation croisée imbriquée répétée

Question

Je suis conscient que la validation croisée imbriquée est utilisée pour le réglage des hyperparamètres et la sélection du modèle et que la validation croisée répétée de K fois est utilisée pour améliorer les performances estimées du modèle.

Ma question est la suivante: la validation croisée imbriquée peut-elle être répétée?

Comme décrit ici , la validation croisée de plis K imbriqués fonctionne comme suit:

1. Partition the training set into ‘K’ subsets
2. In each iteration, take ‘K minus 1’ subsets for model training, and keep 1 subset (holdout set) for model testing.
3. Further partition the ‘K minus 1’ training set into ‘K’ subsets, and iteratively use the new ‘K minus 1’ subset and the ‘validation set’ for parameter tuning (grid search). The best parameter identified in this step is used to test on the holdout set in step 2.

Ce processus peut-il être répété N fois, pour différentes partitions de l'ensemble de données, tout comme vous le feriez en répétition de validation croisée?

Je suis tombé sur cette question qui semble liée à ma question, mais qui n'a malheureusement pas de réponse acceptée.

Je suis également tombé sur cet article où ils semblent décrire la procédure dont je parle, même si je ne l'ai pas vue décrite ailleurs.

Answer 1

Oui, vous pouvez répéter les validations croisées (les deux ou l'une d'entre elles, si nécessaire).

---

La validation croisée répétée améliore l'estimation de l'erreur de généralisation d'une manière spécifique: elle vous permet de mesurer et de réduire facilement l'incertitude aléatoire due à l'instabilité du modèle (prédictions instables).

Je trouve plus pratique de penser un peu différemment à la valiation croisée imbriquée :

• Validation externe: le but est de mesurer l'erreur de généralisation d'un modèle entièrement réglé et utilisable. Le CV répété est un bon candidat pour cela.
• Formation d'un modèle entièrement réglé: Comme d'habitude, cette fonction de formation d'auto-réglage est une boîte noire à la validation externe. La procédure de formation peut utiliser en interne d'autres validations croisées (internes), qui peuvent bien sûr être également répétées.

IMHO les avantages de ce point de vue sont

• Il est immédiatement clair que les détails des validations peuvent être choisis indépendamment pour les procédures de validation externe ou interne.
  • Vous pouvez adapter / organiser la procédure de validation interne en fonction du type de modèle que vous réglez.
• Cela conduira automatiquement à une configuration correctement imbriquée.
• Le codage de cette manière protège contre les erreurs d'indexation qui fuient les données de test externes dans la partie de réglage.
• Le modèle final peut être formé comme d'habitude: en appelant la fonction d'apprentissage d'auto-réglage sur l'ensemble de données.