Để xử lý các ngoại lệ, trước tiên chúng ta phải biết ngoại lệ là gì. Ngoại lệ là những quan sát không mong muốn khác biệt đáng kể so với phần còn lại của dữ liệu. Có thể có nhiều lý do dẫn đến ngoại lệ, chúng ta sẽ khám phá lý do dẫn đến ngoại lệ vào lần khác.

Chúng ta có thể làm việc khi có dữ liệu ngoại lai không? Câu trả lời là Có, trong một số trường hợp bạn có thể làm việc mà không cần quan tâm đến chúng. Trong khi làm việc với các Thuật toán học máy/Học sâu hoạt động với trọng số điện toán, bạn phải loại bỏ các ngoại lệ vì chúng nhạy cảm với các ngoại lệ như Hồi quy tuyến tính, Hồi quy logistic, Phân cụm phân cấp, Phân cụm kmeans, PCA và Mạng thần kinh, v.v. Mặt khác, một số thuật toán hoạt động tốt với các ngoại lệ như SVM, Rừng ngẫu nhiên, Cây quyết định, v.v.

Vì vậy, chủ yếu có hai phương pháp để loại bỏ các ngoại lệ tùy thuộc vào phân phối gaussian/Phân phối bình thường .

• Phương pháp điểm Z
• Phương pháp IQR

Điểm Z được sử dụng khi dữ liệu của bạn được phân phối gaussian hoặc gần như được phân phối gaussian. Chúng tôi tính toán giá trị trung bình của toàn bộ dữ liệu và đối với phạm vi trên, hãy cộng 3 lần độ lệch chuẩn của dữ liệu, đối với phạm vi dưới, trừ đi với độ lệch chuẩn 3 lần của dữ liệu. Chúng tôi thường thực hiện 3 lần độ lệch chuẩn và đôi khi là 1,5 lần độ lệch chuẩn.

Bây giờ, chúng tôi thực hiện giới hạn hoặc cắt bớt dựa trên số lượng giá trị ngoại lệ. Nếu có từ 5% giá trị ngoại lệ trở xuống và tập dữ liệu lớn, chúng tôi chỉ loại bỏ các giá trị ngoại lệ nằm ngoài 3 độ lệch chuẩn của toàn bộ dữ liệu.

Ô vuông phía trên được vẽ sau khi cắt ở 3 lần độ lệch chuẩn. Nhưng nếu chúng ta cắt ở 1,5 lần độ lệch chuẩn, thì các ngoại lệ còn lại cũng bị loại bỏ.

Nếu không, chúng tôi sử dụng phương pháp giới hạn. Giới hạn là thay thế các giá trị ngoại lệ nằm ngoài 3 độ lệch chuẩn của dữ liệu bằng 3 điểm độ lệch chuẩn. Điều này hữu ích khi có hơn 5 % giá trị ngoại lệ hoặc tập dữ liệu nhỏ. Trong trường hợp như vậy, việc cắt xén sẽ dẫn đến mất dữ liệu quan trọng.

Phương pháp IQR

Phương pháp IQR được sử dụng khi dữ liệu của bạn bị sai lệch. Chúng tôi tính phần trăm 25 và 75 và tìm IQR. IQR là 75 phần trăm trừ đi 25 phần trăm. Đối với phạm vi trên, hãy thêm 1,5 lần IQR vào phần trăm 75 và đối với phần trăm 25 ở phạm vi thấp hơn trừ đi 1,5 lần IQR.

Bây giờ, khi chúng tôi tìm thấy phạm vi trên và dưới, chúng tôi có thể thực hiện cắt bớt hoặc giới hạn. Nếu có 5% giá trị ngoại lệ trở xuống và dữ liệu lớn, chúng tôi chỉ loại bỏ các giá trị ngoại lệ nằm ngoài phạm vi trên và phạm vi. Mặt khác, chúng tôi giới hạn và thay thế điểm bằng phạm vi trên và dưới

Đây là một ví dụ về cắt tỉa

Vì có ít ngoại lệ hơn nên chúng tôi đã sử dụng công cụ cắt tỉa. Cũng do dữ liệu bị sai lệch nên chúng tôi sử dụng phương pháp IQR.

Đây là một ví dụ về giới hạn

Vì có nhiều ngoại lệ hơn, chúng tôi đã sử dụng giới hạn.