Aus Probe MASE

Question

Bei der Berechnung der MASE wird im Originalpapier vorgeschlagen, den naiven Prognosefehler in der Stichprobe zur Skalierung des Prognosefehlers außerhalb der Stichprobe zu verwenden.

Wenn ich jedoch die MAE verwende, die durch eine naive Prognose für den Datensatz außerhalb der Stichprobe generiert wurde, erhalte ich eine MASE, die mehr mit der tatsächlichen Leistung der Prognose im getesteten Zeitraum korreliert.

Mein Verständnis ist, dass eine Einschränkung bei der Verwendung der naiven MAE außerhalb der Stichprobe darin besteht, dass eine kleine Menge außerhalb der Stichprobe nicht zuverlässig ist. Dies ist jedoch in meiner Bewerbung nicht der Fall.

intuitiv erscheint es relevanter, die Vorhersagefehler mit den naiven Prognosefehlern des gleichen Zeitraums zu skalieren.

Meine Frage:

Ist es eine gute Idee, die MAE der Out-of-Sample-Daten zu verwenden, um den Prognosefehler zu skalieren? dh.

$$MASE=\frac{MAE}{MAE_{out-sample, \, naive}}$$

Answer 1

Sie können jeden Benchmark verwenden, mit dem Sie sich im Nenner am wohlsten fühlen. (Eine häufige Wahl ist eine naive saisonale Prognose in der Stichprobe.) Ihr Ansatz hat den Vorteil, dass Sie Ihre Prognosen mit der Benchmark außerhalb der Stichprobe vergleichen, was wahrscheinlich relevanter ist als der Vergleich mit der Benchmark in der Stichprobe, als " normal "MASE tut.

Es wäre nur eine gute Idee, explizit zu notieren, welchen Nenner Sie verwenden, damit andere Personen (oder Sie selbst in einem halben Jahr) nicht verwirrt werden, dass ihre berechnete "einfache Vanille" -MASE nicht mit Ihrer Berechnung übereinstimmt.