Come confrontare Random Forest con altri modelli

Question

Sono nuovo nel machine learning e sto cercando di smascherare l'errore out of bag nelle foreste casuali e il suo utilizzo.

Diciamo che abbiamo un set di dati. Per prima cosa usiamo l'intero set di dati (senza dividerlo) per ottenere una foresta casuale e il suo errore di esaurimento. Quindi suddividiamo il set di dati, addestriamo una rete neurale nella parte di addestramento e lo testiamo sulla parte di test del set di dati.

Posso scegliere tra i due modelli confrontando l'errore Out of Bag della foresta casuale con l'errore di test totale della rete neurale? Ha senso ?

Answer 1

In genere ci affidiamo al campionamento per convalidare il risultato del nostro modello.
Facciamo training / test per testare un modello su un dataset invisibile separato.
Se stiamo effettuando una regolazione di iperparametri, manteniamo un altro set come set di convalida per convalidare il risultato di nuovi iperparametri.

La foresta casuale costruisce ogni nuovo albero su un campione Bagged dal campione originale (dati del treno).
Bagging significa che il campionamento viene eseguito con la sostituzione, ovvero si seleziona un punto dati, lo si rimette e quindi si seleziona il successivo .

In questo processo, molti dati duplicati vengono campionati e molti punti dati non vengono campionati.
~ 63% dei punti dati sono selezionati Leggi qui
L'altro 37% dei punti dati "non selezionati" è chiamato campioni fuori borsa.
Quindi, il modo in cui sono progettati Bagging e RF, abbiamo un altro set di dati per eseguire la nostra convalida. È un'opportunità per fare un livello di convalida con questi campioni.

Cosa significa,

• Ottieni il 37% di punti dati per convalidare il tuo modello
• Ma OOB non ha finito con l'Ensemble completamente cresciuto. Viene eseguito utilizzando tutti gli alberi nell'insieme di foreste casuali per cui il particolare punto dati è stato omesso durante l'addestramento. Leggi qui
• Non è equivalente a K-Fold o Train / test su RF completamente costruito, ma dà un'idea decente dell'errore di convalida in arrivo.