Di luar sampel MASE

Question

Saat menghitung MASE, makalah asli menyarankan penggunaan kesalahan perkiraan naif dalam sampel untuk penskalaan kesalahan perkiraan di luar sampel.

Namun, ketika saya menggunakan MAE yang dihasilkan oleh perkiraan naif pada kumpulan data sampel, saya mendapatkan MASE yang lebih berkorelasi dengan kinerja sebenarnya dari perkiraan dalam periode yang diuji.

Pemahaman saya adalah bahwa salah satu batasan dengan menggunakan keluar dari sampel naif MAE adalah bahwa jika dari kumpulan sampel kecil, itu tidak dapat diandalkan. Namun ini tidak terjadi dalam aplikasi saya.

secara intuitif tampaknya lebih relevan untuk menskalakan kesalahan prediksi dengan kesalahan ramalan naif dari periode waktu yang sama.

Pertanyaan saya:

Apakah ide yang baik untuk menggunakan MAE dari data sampel untuk mengukur kesalahan perkiraan? yaitu.

$$MASE=\frac{MAE}{MAE_{out-sample, \, naive}}$$

Answer 1

Anda dapat menggunakan tolok ukur apa pun yang menurut Anda paling nyaman di penyebut. (Pilihan yang sering adalah perkiraan musiman yang naif dalam sampel.) Pendekatan Anda memiliki keuntungan yaitu membandingkan perkiraan Anda dengan tolok ukur di luar sampel, yang mungkin lebih relevan daripada membandingkannya dengan tolok ukur dalam sampel, sebagai " normal "MASE tidak.

Sebaiknya catat secara eksplisit penyebut apa yang Anda gunakan, sehingga orang lain (atau Anda sendiri dalam setengah tahun) tidak bingung karena MASE "vanilla polos" yang dihitung tidak sesuai dengan perhitungan Anda.