Fuera de muestra MASE

Question

Al calcular el MASE, el artículo original sugiere utilizar el error de pronóstico ingenuo dentro de la muestra para escalar el error de pronóstico fuera de la muestra.

Sin embargo, cuando utilizo el MAE generado por un pronóstico ingenuo en el conjunto de datos fuera de la muestra, obtengo un MASE que se correlaciona más con el rendimiento real del pronóstico en el período probado.

Tengo entendido que una limitación con el uso del MAE ingenuo fuera de muestra es que si el conjunto fuera de muestra es pequeño, no es confiable. Sin embargo, este no es el caso de mi solicitud.

intuitivamente parece más relevante escalar los errores de predicción con los errores de predicción ingenuos del mismo período de tiempo.

Mi pregunta:

¿Es una buena idea utilizar el MAE de los datos fuera de la muestra para escalar el error de pronóstico? es decir.

$$MASE=\frac{MAE}{MAE_{out-sample, \, naive}}$$

Answer 1

Puede utilizar cualquier punto de referencia con el que se sienta más cómodo en el denominador. (Una elección frecuente es un pronóstico estacional ingenuo en la muestra). Su enfoque tiene la ventaja de comparar sus pronósticos con el índice de referencia fuera de la muestra, que probablemente sea más relevante que compararlo con el índice de referencia en la muestra, ya que " normal "MASE lo hace.

Sería una buena idea anotar explícitamente qué denominador está utilizando, para que otras personas (o usted mismo en medio año) no se confundan de que su MASE calculado "simple" no coincide con su cálculo.