Perché utilizzare la convalida incrociata per l'analisi di regressione?
Nel mio lavoro cerco di adattare una regressione logistica multinomiale all'obiettivo della previsione. Attualmente sto applicando la convalida incrociata con le pieghe K stratificate ripetute, ma ho ancora alcune domande sul metodo che non ho visto prima.
Ha senso utilizzare la convalida incrociata per testare la regressione, in questo caso in cui non sto regolando alcun iperparametro? Ho visto molto che cross val è più utile per l'ottimizzazione degli iperparametri.
Ho eseguito il mio modello (regressione con gli stessi predittori) con 10 pieghe ripetute 3 volte e ottengo metriche davvero buone in ciascuna piega (ROC di 0,95, richiamo di precisione micro medio di 0,94 e più lungo queste linee), che suggeriscono il mio il modello discrimina in modo appropriato ed è in grado di prevedere bene. Posso essere certo che la mia regressione non sia eccessiva? Vale a dire che le variabili che ho selezionato per eseguire come predittori non si adatterebbero eccessivamente ai dati.
Infine, non sono sicuro di poter terminare tecnicamente la mia analisi lì, oppure posso quindi creare un "modello finale" con tutti gli stessi predittori e addestrato in una parte più ampia (se non tutti) i dati. Presumo che se la società vuole effettivamente eseguire questo modello avrà bisogno di un "adattamento finale" per prevederlo, giusto? Devo usare un'altra suddivisione del test del treno per questo modello finale?
Il tuo aiuto è molto apprezzato!
Risposte
La convalida incrociata può essere utilizzata per molte attività: regolazione dell'iperparametro, quanto è stabile l'errore fuori campione, ma direi che è molto utile per confrontare modelli diversi .
Ad esempio, se hai due modelli ed esegui la convalida incrociata su entrambi, puoi confrontare le prestazioni di diverse pieghe e vedere se un modello supera l'altro. Facendo questo, diciamo, 10 volte, ottieni una stima più affidabile delle prestazioni fuori campione rispetto all'utilizzo di un solo set di test (cioè una convalida 1 volta).
Potresti scoprire che un modello più complesso è in grado di ottenere una AUC media di 0,97, o forse se si adatta e ti dà una AUC peggiore di 0,9. Puoi solo dire se un modello si adatta meglio se lo confronti effettivamente fuori campione con un modello più semplice.
Per la tua ultima domanda: dopo aver trovato il modello migliore facendo la convalida incrociata e hai deciso che questo modello verrà utilizzato in produzione, dovresti addestrare il modello su tutti i dati disponibili, in modo da ottenere le stime più accurate possibile.