आउटलेयर को हैंडल करने के लिए पहले हमें यह जानना होगा कि आउटलेयर क्या हैं। आउटलेयर अवांछित अवलोकन हैं जो अन्य डेटा से महत्वपूर्ण रूप से भिन्न होते हैं। आउटलेयर के कई कारण हो सकते हैं, हम आउटलेयर के कारणों का पता फिर कभी लगाएंगे।

क्या हम काम कर सकते हैं जबकि डेटा में आउटलेयर हैं? इसका उत्तर है हां, कुछ मामलों में आप उनकी परवाह किए बिना काम कर सकते हैं। मशीन लर्निंग/डीप लर्निंग एल्गोरिद्म के साथ काम करते समय, जो कंप्यूटिंग वेट का काम करता है, आपको आउटलेर्स को हटाना होगा क्योंकि वे लीनियर रिग्रेशन, लॉजिस्टिक रिग्रेशन, हायरार्किकल क्लस्टरिंग, केमीन्स क्लस्टरिंग, पीसीए और न्यूरल नेटवर्क आदि जैसे आउटलेर्स के प्रति संवेदनशील होते हैं। दूसरी ओर, कुछ एल्गोरिदम एसवीएम, रैंडम फॉरेस्ट, डिसीजन ट्री आदि जैसे आउटलेर्स के साथ ठीक काम करता है।

इसलिए गॉसियन वितरण/सामान्य वितरण के आधार पर आउटलेयर को हटाने के लिए मुख्य रूप से दो विधियाँ हैं ।

• जेड-स्कोर विधि
• आईक्यूआर विधि

Z स्कोर का उपयोग तब किया जाता है जब आपका डेटा गॉसियन वितरित या लगभग गॉसियन वितरित होता है। हम पूरे डेटा के माध्य की गणना करते हैं और ऊपरी श्रेणी के लिए डेटा के 3 गुना मानक विचलन जोड़ते हैं, निचली श्रेणी के लिए डेटा के 3 गुना मानक विचलन के साथ घटाते हैं। हम आम तौर पर 3 मानक विचलन और कभी-कभी 1.5 मानक विचलन भी करते हैं।

अब हम या तो आउटलेयर की संख्या के आधार पर कैपिंग या ट्रिमिंग करते हैं। यदि 5% या उससे कम आउटलेयर हैं और डेटासेट बड़ा है तो हम केवल आउटलेयर को ट्रिम करते हैं जो पूरे डेटा के 3 मानक विचलन से बाहर है।

उपरोक्त बॉक्सप्लॉट 3 गुना स्टैंडएट विचलन पर ट्रिमिंग के बाद तैयार किया गया है। लेकिन अगर हम 1.5 गुना मानक विचलन पर ट्रिम करते हैं, तो शेष आउटलेयर भी हटा दिए जाते हैं।

अन्यथा हम कैपिंग विधि का उपयोग करते हैं। कैपिंग 3 मानक विचलन बिंदु के साथ डेटा के 3 मानक विचलन के बाहर स्थित आउटलेयर को प्रतिस्थापित कर रहा है। यह तब उपयोगी होता है जब 5% से अधिक आउटलेयर होते हैं या डेटासेट छोटा होता है। ऐसे मामले में ट्रिमिंग से महत्वपूर्ण डेटा का नुकसान होगा।

आईक्यूआर विधि

IQR पद्धति का उपयोग तब किया जाता है जब आपका डेटा तिरछा होता है। हम 25 और 75 प्रतिशतक की गणना करते हैं और IQR पाते हैं। IQR 75 पर्सेंटाइल माइनस 25 परसेंटाइल होता है। ऊपरी श्रेणी के लिए 1.5 गुणा IQR को 75 प्रतिशतक में जोड़ें और निम्न श्रेणी के लिए 25 प्रतिशतक घटाकर 1.5 गुना IQR जोड़ें।

अब जैसा कि हम ऊपरी और निचली सीमा पाते हैं हम या तो ट्रिमिंग या कैपिंग कर सकते हैं। यदि 5% या उससे कम आउटलेयर हैं और डेटा बड़ा है तो हम केवल उन आउटलेयर को ट्रिम करते हैं जो ऊपरी और रेंज के बाहर हैं। अन्यथा हम कैपिंग करते हैं और बिंदु को ऊपरी और निचली सीमा से बदलते हैं

यहाँ ट्रिमिंग का एक उदाहरण है

चूंकि आउटलेयर कम थे, इसलिए हमने ट्रिमिंग का इस्तेमाल किया। साथ ही डेटा के विषम होने के कारण हमने IQR पद्धति का उपयोग किया।

यहाँ कैपिंग का एक उदाहरण है

जैसा कि अधिक आउटलेयर थे, हमने कैपिंग का इस्तेमाल किया।