Fora da amostra MASE

Question

Ao calcular o MASE, o artigo original sugere o uso do erro de previsão ingênuo dentro da amostra para dimensionar o erro de previsão fora da amostra.

Quando eu uso o MAE gerado por uma previsão ingênua no conjunto de dados fora da amostra, porém, obtenho um MASE que se correlaciona mais com o desempenho real da previsão no período testado.

Meu entendimento é que uma limitação do uso do MAE ingênuo fora da amostra é que, se o conjunto fora da amostra for pequeno, ele não será confiável. No entanto, este não é o caso da minha aplicação.

intuitivamente, parece mais relevante dimensionar os erros de previsão com os erros ingênuos de previsão do mesmo período de tempo.

Minha pergunta:

É uma boa ideia usar o MAE dos dados fora da amostra para dimensionar o erro de previsão? ie.

$$MASE=\frac{MAE}{MAE_{out-sample, \, naive}}$$

Answer 1

Você pode usar qualquer benchmark com o qual se sinta mais confortável no denominador. (Uma escolha frequente é uma previsão sazonal ingênua na amostra.) Sua abordagem tem a vantagem de comparar suas previsões com o benchmark fora da amostra, o que provavelmente é mais relevante do que compará-lo com o benchmark dentro da amostra, como o " normal "o MASE faz.

Seria uma boa ideia anotar explicitamente o denominador que você está usando, para que outras pessoas (ou você mesmo em meio ano) não se confundam com o fato de que o MASE calculado "plain vanilla" deles não corresponde ao seu cálculo.