จาก MASE ตัวอย่าง
เมื่อคำนวณ MASE เอกสารต้นฉบับจะแนะนำให้ใช้ข้อผิดพลาดในการคาดการณ์ที่ไร้เดียงสาในตัวอย่างสำหรับการปรับขนาดของข้อผิดพลาดการคาดการณ์นอกตัวอย่าง
เมื่อฉันใช้ MAE ที่สร้างขึ้นโดยการคาดการณ์ที่ไร้เดียงสาในชุดข้อมูลตัวอย่างฉันจะได้รับ MASE ที่มีความสัมพันธ์กับประสิทธิภาพจริงของการคาดการณ์ในช่วงเวลาทดสอบมากขึ้น
ความเข้าใจของฉันคือข้อ จำกัด อย่างหนึ่งของการใช้ MAE ที่ไร้เดียงสาของตัวอย่างคือถ้าชุดตัวอย่างมีขนาดเล็กก็ไม่น่าเชื่อถือ อย่างไรก็ตามนี่ไม่ใช่กรณีในแอปพลิเคชันของฉัน
โดยสังหรณ์ใจดูเหมือนว่าจะเกี่ยวข้องมากกว่าในการปรับขนาดข้อผิดพลาดของการคาดการณ์ด้วยข้อผิดพลาดในการคาดการณ์ที่ไร้เดียงสาในช่วงเวลาเดียวกัน
คำถามของฉัน:
เป็นความคิดที่ดีหรือไม่ที่จะใช้ MAE จากข้อมูลตัวอย่างเพื่อปรับขนาดข้อผิดพลาดในการคาดการณ์ กล่าวคือ.
$$MASE=\frac{MAE}{MAE_{out-sample, \, naive}}$$
คำตอบ
คุณสามารถใช้เกณฑ์มาตรฐานใดก็ได้ที่คุณพอใจที่สุดในตัวส่วน (ตัวเลือกที่ใช้บ่อยคือการคาดการณ์ตามฤดูกาลในตัวอย่างที่ไร้เดียงสา) แนวทางของคุณมีข้อดีคือการเปรียบเทียบการคาดการณ์ของคุณกับการเปรียบเทียบที่ไม่อยู่ในตัวอย่างซึ่งอาจเกี่ยวข้องมากกว่าการเปรียบเทียบกับเกณฑ์มาตรฐานในตัวอย่างเช่น " ปกติ "MASE ทำ
มันเป็นความคิดที่ดีที่จะสังเกตอย่างชัดเจนว่าคุณใช้ตัวส่วนใดเพื่อให้คนอื่น ๆ (หรือตัวคุณเองในช่วงครึ่งปี) อย่าสับสนว่า MASE "วานิลลาธรรมดา" ที่คำนวณได้ไม่ตรงกับการคำนวณของคุณ