¿Por qué utilizar la validación cruzada para el análisis de regresión?
En mi trabajo intento encajar una regresión logística multinomial con el objetivo de la predicción. Actualmente estoy aplicando la validación cruzada con los pliegues K estratificados repetidos, pero todavía tengo algunas preguntas sobre el método que no he visto antes respondidas.
¿Tiene sentido usar la validación cruzada para probar la regresión, en este caso donde no estoy ajustando ningún hiperparámetro? He visto mucho que cross val es más útil para el ajuste de hiperparámetros.
Ejecuté mi modelo (regresión con los mismos predictores) con 10 pliegues repetidos 3 veces, y obtengo métricas realmente buenas en cada pliegue (ROC de 0.95, recuperación de precisión de micro promedio de 0.94, y más en esas líneas), lo que sugiere mi El modelo discrimina adecuadamente y es capaz de predecir bien. ¿Puedo estar seguro de que mi regresión no está sobreajustada? Es decir, que las variables que seleccioné para ejecutar como predictores no se ajustarían demasiado a los datos.
Finalmente, no estoy seguro de si técnicamente puedo terminar mi análisis allí, o si luego puedo hacer un "modelo final" con los mismos predictores y entrenado en una mayor parte de (si no todos) los datos. Supongo que si la empresa quiere ejecutar este modelo, necesitará un "ajuste final" para predecir, ¿verdad? ¿Debería usar otra división de prueba de tren para este modelo final?
¡Su ayuda es muy apreciada!
Respuestas
La validación cruzada se puede utilizar para muchas tareas: ajuste de hiperparámetros, qué tan estable es su error fuera de muestra, pero diría que es más útil para comparar diferentes modelos.
Por ejemplo, si tiene dos modelos y ejecuta la validación cruzada en ambos, puede comparar el rendimiento de diferentes pliegues y ver si un modelo supera al otro. Al hacer esto, digamos, 10 veces, obtiene una estimación más sólida del rendimiento fuera de la muestra en comparación con usar solo un conjunto de prueba (es decir, validación de 1 vez).
Puede encontrar que un modelo más complejo puede obtener un AUC promedio de 0.97, o tal vez si se sobreajusta y le da un AUC peor de 0.9. Solo puede decir si un modelo se adapta demasiado si realmente lo compara de la muestra con un modelo más simple.
Para su última pregunta: Una vez que haya encontrado el mejor modelo que realiza la validación cruzada y haya decidido que este modelo se utilizará en producción, debe entrenar el modelo con todos los datos disponibles, para obtener las estimaciones más precisas. posible.