Вне выборки MASE

Question

При вычислении MASE в исходной статье предлагается использовать наивную ошибку прогноза внутри выборки для масштабирования ошибки прогноза вне выборки.

Однако, когда я использую MAE, сгенерированный наивным прогнозом для набора данных вне выборки, я получаю MASE, которая больше коррелирует с фактической эффективностью прогноза в тестируемый период.

Я понимаю, что одним из ограничений использования наивного MAE вне выборки является то, что если набор вне выборки невелик, он ненадежен. Однако в моем приложении это не так.

интуитивно кажется более уместным масштабировать ошибки прогнозов с помощью наивных ошибок прогнозов того же периода времени.

Мой вопрос:

Является ли хорошей идеей использовать MAE данных вне выборки для масштабирования ошибки прогноза? т.е.

$$MASE=\frac{MAE}{MAE_{out-sample, \, naive}}$$

Answer 1

Вы можете использовать любой тест, который вам удобнее всего, в знаменателе. (Частый выбор - наивный сезонный прогноз в выборке.) Ваш подход имеет преимущество в сравнении ваших прогнозов с эталонным вне выборки, что, вероятно, более актуально, чем сравнение его с эталоном в выборке, поскольку " нормальный "MASE".

Было бы неплохо явно указать, какой знаменатель вы используете, чтобы другие люди (или вы сами через полгода) не запутались, что их вычисленная «обычная ванильная» MASE не соответствует вашим расчетам.