Brak próbki MASE

Question

Podczas obliczania MASE oryginalny artykuł sugeruje wykorzystanie naiwnego błędu prognozy w próbie do skalowania błędu prognozy spoza próby.

Kiedy jednak używam MAE wygenerowanego przez naiwną prognozę dla zbioru danych spoza próby, otrzymuję MASE, który bardziej koreluje z rzeczywistą wydajnością prognozy w testowanym okresie.

Rozumiem, że jednym z ograniczeń w używaniu naiwnego MAE poza próbką jest to, że jeśli zbiór poza próbką jest mały, nie jest wiarygodny. Jednak w mojej aplikacji tak nie jest.

intuicyjnie bardziej odpowiednie wydaje się skalowanie błędów prognoz z naiwnymi błędami prognoz z tego samego okresu.

Moje pytanie:

Czy dobrym pomysłem jest wykorzystanie MAE danych spoza próby do skalowania błędu prognozy? to znaczy.

$$MASE=\frac{MAE}{MAE_{out-sample, \, naive}}$$

Answer 1

W mianowniku możesz użyć dowolnego wzorca, który najbardziej Ci odpowiada. (Częstym wyborem jest naiwna prognoza sezonowa w próbie). Twoje podejście ma tę zaletę, że porównuje swoje prognozy z punktem odniesienia poza próbą, co jest prawdopodobnie bardziej odpowiednie niż porównanie go z punktem odniesienia w próbie, ponieważ „ normalne "MASE robi.

Byłoby po prostu dobrym pomysłem wyraźne zanotowanie, jakiego mianownika używasz, aby inni ludzie (lub Ty sam za pół roku) nie dali się zmylić, że ich obliczony „zwykły waniliowy” MASE nie pasuje do twoich obliczeń.