ในการจัดการกับค่าผิดปกติ ก่อนอื่นเราต้องรู้ว่าอะไรคือค่าผิดปกติ ค่าผิดปกติเป็นการสังเกตที่ไม่พึงประสงค์ซึ่งแตกต่างอย่างมากจากข้อมูลอื่นๆ ที่เหลือ ค่าผิดปกติอาจมีหลายสาเหตุ เราจะมาสำรวจสาเหตุของค่าผิดปกติกันอีกครั้ง

เราสามารถทำงานในขณะที่มีข้อมูลผิดปกติได้หรือไม่ ? คำตอบคือ ได้ ในบางกรณี คุณสามารถทำงานได้โดยที่ไม่กังวลเกี่ยวกับสิ่งเหล่านี้ ในขณะที่ทำงานกับแมชชีนเลิร์นนิง/อัลกอริทึมการเรียนรู้เชิงลึกที่ทำงานในการคำนวณน้ำหนัก คุณต้องลบค่าผิดปกติออกเนื่องจากค่าผิดปกติเหล่านี้ไวต่อค่าผิดปกติ เช่น การถดถอยเชิงเส้น การถดถอยโลจิสติก การทำคลัสเตอร์ลำดับชั้น kmeans การทำคลัสเตอร์ PCA และโครงข่ายประสาทเทียม เป็นต้น ในทางกลับกัน อัลกอริทึมบางอย่าง ทำงานได้ดีกับค่าผิดปกติเช่น SVM, Random Forest, Decision Tree เป็นต้น

ดังนั้นจึงมีสองวิธีหลักในการลบค่าผิดปกติขึ้นอยู่กับการแจกแจงแบบเกาส์เซียน/การแจกแจงแบบปกติ

• วิธี Z-score
• วิธี IQR

คะแนน Z จะใช้เมื่อข้อมูลของคุณเป็นแบบกระจายแบบเกาส์เซียนหรือแบบกระจายเกือบแบบเกาส์เซียน เราคำนวณค่าเฉลี่ยของข้อมูลทั้งหมดและสำหรับช่วงบนบวกด้วยค่าเบี่ยงเบนมาตรฐาน 3 เท่าของข้อมูล สำหรับช่วงล่างลบด้วยค่าเบี่ยงเบนมาตรฐาน 3 เท่าของข้อมูล โดยทั่วไปเราจะคำนวณค่าเบี่ยงเบนมาตรฐาน 3 เท่า และบางครั้งใช้ค่าเบี่ยงเบนมาตรฐาน 1.5 เท่าเช่นกัน

ตอนนี้เราทำการ capping หรือ trimming ตามจำนวนของค่าผิดปกติ ถ้ามีค่าผิดปกติ 5% หรือน้อยกว่าและชุดข้อมูลมีขนาดใหญ่ เราก็แค่ตัดค่าค่าผิดปกติที่อยู่นอกค่าเบี่ยงเบนมาตรฐาน 3 ของข้อมูลทั้งหมด

แผนภาพด้านบนถูกวาดขึ้นหลังจากตัดแต่งที่ค่าเบี่ยงเบนมาตรฐาน 3 เท่า แต่ถ้าเราตัดแต่งที่ค่าเบี่ยงเบนมาตรฐาน 1.5 เท่า ค่าผิดปกติที่เหลือจะถูกลบออกเช่นกัน

มิฉะนั้นเราจะใช้วิธีปิดฝา การจำกัดกำลังแทนที่ค่าผิดปกติที่อยู่นอก 3 ส่วนเบี่ยงเบนมาตรฐานของข้อมูลด้วยจุดเบี่ยงเบนมาตรฐาน 3 จุด ซึ่งจะมีประโยชน์เมื่อมีค่าผิดปกติมากกว่า 5 % หรือชุดข้อมูลมีขนาดเล็ก ในกรณีเช่นนี้ การตัดแต่งจะทำให้ข้อมูลสำคัญสูญหาย

วิธี IQR

วิธี IQR จะใช้เมื่อข้อมูลของคุณเบ้ เราคำนวณเปอร์เซ็นไทล์ 25 และ 75 และหา IQR IQR คือ 75 เปอร์เซ็นไทล์ ลบ 25 เปอร์เซ็นไทล์ สำหรับช่วงบน เพิ่ม 1.5 เท่าของ IQR เป็น 75 เปอร์เซ็นไทล์ และสำหรับช่วงล่าง 25 เปอร์เซ็นไทล์ ลบ 1.5 เท่าของ IQR

เมื่อเราพบช่วงบนและล่าง เราสามารถทำการตัดแต่งหรือกำหนดขอบเขตได้ หากมีค่าผิดปกติ 5% หรือน้อยกว่าและข้อมูลมีขนาดใหญ่ เราก็เพียงตัดค่าผิดปกติที่อยู่นอกช่วงบนและช่วง มิฉะนั้นเราจะกำหนดจุดสูงสุดและแทนที่จุดด้วยช่วงบนและล่าง

นี่คือตัวอย่างของการตัดแต่ง

เนื่องจากมีค่าผิดปกติน้อยกว่า เราจึงใช้การตัดแต่ง เนื่องจากข้อมูลเบ้ เราจึงใช้วิธี IQR

นี่คือตัวอย่างของการกำหนด

เนื่องจากมีค่าผิดปกติมากขึ้น เราจึงใช้การจำกัด