Pourquoi utiliser la validation croisée pour l'analyse de régression?
Dans mon travail, j'essaie d'ajuster une régression logistique multinomiale avec l'objectif de prédiction. J'applique actuellement la validation croisée avec les plis K stratifiés répétés, mais j'ai encore des questions sur la méthode auxquelles je n'ai pas vu de réponses auparavant.
Est-il judicieux d'utiliser la validation croisée pour tester la régression, dans ce cas où je ne règle aucun hyperparamètre? J'ai vu beaucoup de choses que cross val est le plus utile pour le réglage des hyperparamètres.
J'ai exécuté mon modèle (régression avec les mêmes prédicteurs) avec 10 plis répétés 3 fois, et j'obtiens de très bonnes métriques dans chaque pli (ROC de 0,95, rappel de précision micro moyenne de 0,94, et plus dans ce sens), ce qui suggère mon Le modèle est discriminant de manière appropriée et capable de bien prédire. Puis-je être sûr que ma régression n'est pas surajustée? Autrement dit, les variables que j'ai sélectionnées pour être exécutées en tant que prédicteurs ne satureraient pas les données.
Enfin, je ne sais pas si je peux techniquement terminer mon analyse là, ou je peux alors faire un «modèle final» avec tous les mêmes prédicteurs et entraîné dans une plus grande partie (sinon la totalité) des données. Je suppose que si l'entreprise veut réellement exécuter ce modèle, elle aura besoin d'un «ajustement final» pour prédire, non? Dois-je utiliser un autre fractionnement train-test pour ce modèle final?
Votre aide est très appréciée!
Réponses
La validation croisée peut être utilisée pour de nombreuses tâches: le réglage des hyperparamètres, la stabilité de votre erreur hors échantillon, mais je dirais que c'est plus utile pour comparer différents modèles.
Par exemple, si vous avez deux modèles et que vous exécutez une validation croisée sur les deux, vous pouvez comparer les performances de différents plis et voir si un modèle surpasse l'autre. En faisant cela, disons 10 fois, vous obtenez une estimation plus robuste de la performance hors échantillon par rapport à l'utilisation d'un seul ensemble de test (c.-à-d. Validation 1 fois).
Vous constaterez peut-être qu'un modèle plus complexe est capable d'obtenir une AUC moyenne de 0,97, ou peut-être en cas de surajustement et de vous donner une AUC pire de 0,9. Vous ne pouvez dire si un modèle sur-ajustement que si vous le comparez réellement hors échantillon avec un modèle plus simple.
Pour votre dernière question: une fois que vous avez trouvé le meilleur modèle pour la validation croisée, et que vous avez décidé que ce modèle sera utilisé en production, vous devez former le modèle sur toutes les données disponibles, afin d'obtenir les estimations les plus précises. possible.