Örnek MASE dışında

Question

MASE hesaplanırken, orijinal makale, örnek dışı tahmin hatasını ölçeklendirmek için örnek içi saf tahmin hatasını kullanmayı önerir.

Bununla birlikte, örneklem dışı veri setinde naif bir tahmin tarafından oluşturulan MAE'yi kullandığımda, test edilen dönemdeki tahminin gerçek performansı ile daha fazla ilişkili olan bir MASE elde ediyorum.

Anladığım kadarıyla örnek dışı naif MAE'yi kullanmanın bir sınırlaması, örnek dışı setin küçük olması durumunda güvenilir olmamasıdır. Ancak başvurumda durum böyle değil.

sezgisel olarak, tahmin hatalarını aynı zaman periyodunun naif tahmin hatalarıyla ölçeklendirmek daha uygun görünmektedir.

Benim sorum:

Tahmin hatasını ölçeklendirmek için örneklem dışı verilerin MAE'sini kullanmak iyi bir fikir mi? yani.

$$MASE=\frac{MAE}{MAE_{out-sample, \, naive}}$$

Answer 1

Paydada en rahat olduğunuz ölçütü kullanabilirsiniz. (Sıklıkla yapılan bir seçim, örneklem içinde naif bir mevsimsel tahmindir .) Yaklaşımınız, tahminlerinizi örneklem dışı karşılaştırma ölçütüyle karşılaştırma avantajına sahiptir; bu, muhtemelen onu örneklem içindeki karşılaştırma ölçütüyle karşılaştırmaktan daha önemlidir. " normal "MASE yapar.

Hangi paydayı kullandığınızı açıkça belirtmek iyi bir fikir olacaktır, bu nedenle diğer insanların (veya sizin de yarım yılda) hesaplanan "sade vanilya" MASE'inin hesaplamanızla uyuşmadığı konusunda kafanız karışmaz.