Fuori campione MASE
Quando si calcola il MASE, il documento originale suggerisce di utilizzare l'errore di previsione ingenuo nel campione per scalare l'errore di previsione fuori campione.
Tuttavia, quando utilizzo il MAE generato da una previsione ingenua sul set di dati fuori campione, ottengo un MASE che si correla maggiormente con l'effettivo rendimento della previsione nel periodo testato.
La mia comprensione è che un limite con l'utilizzo del MAE ingenuo fuori campione è che se l'insieme fuori campione è piccolo, non è affidabile. Tuttavia, questo non è il caso della mia domanda.
intuitivamente sembra più pertinente scalare gli errori di previsione con gli errori di previsione ingenui dello stesso periodo di tempo.
La mia domanda:
È una buona idea utilizzare il MAE dei dati fuori campione per scalare l'errore di previsione? cioè.
$$MASE=\frac{MAE}{MAE_{out-sample, \, naive}}$$
Risposte
Puoi utilizzare qualsiasi benchmark con cui ti senti più a tuo agio nel denominatore. (Una scelta frequente è una previsione stagionale ingenua nel campione). Il tuo approccio ha il vantaggio di confrontare le tue previsioni con il benchmark fuori campione, che è probabilmente più pertinente rispetto al confronto con il benchmark nel campione, come " normale "MASE fa.
Sarebbe solo una buona idea annotare esplicitamente quale denominatore stai usando, così le altre persone (o tu stesso tra sei mesi) non si confondono che il loro MASE "plain vanilla" calcolato non corrisponde al tuo calcolo.