Aby najpierw obsłużyć wartości odstające, musimy wiedzieć, czym są wartości odstające. Wartości odstające to niechciane obserwacje, które znacznie różnią się od innych pozostałych danych. Może być wiele przyczyn wartości odstających, przyczynami wartości odstających zbadamy innym razem.

Czy możemy pracować, gdy w danych występują wartości odstające? Odpowiedź brzmi: tak, w niektórych przypadkach możesz pracować, nie martwiąc się o nie. Podczas pracy z algorytmami uczenia maszynowego/głębokiego uczenia się, które działają przy obliczaniu wag, należy usuwać wartości odstające, ponieważ są one wrażliwe na wartości odstające, takie jak regresje liniowe, regresja logistyczna, klastrowanie hierarchiczne, grupowanie kmeans, PCA i sieci neuronowe itp. Z drugiej strony niektóre algorytmy działa dobrze z wartościami odstającymi, takimi jak SVM, losowy las, drzewo decyzyjne itp.

Istnieją więc głównie dwie metody usuwania wartości odstających w zależności od rozkładu gaussowskiego/rozkładu normalnego .

• Metoda Z-score
• Metoda IQR

Wynik Z jest używany, gdy dane mają rozkład gaussowski lub prawie gaussowski. Obliczamy średnią z całych danych i dla górnego przedziału dodajemy 3-krotne odchylenie standardowe danych, dla dolnego zakresu odejmujemy 3-krotne odchylenie standardowe danych. Zwykle robimy 3 odchylenia standardowe, a czasami również 1,5 odchylenia standardowego.

Teraz ograniczamy lub przycinamy na podstawie liczby wartości odstających. Jeśli wartości odstających jest 5% lub mniej, a zbiór danych jest duży, po prostu przycinamy wartości odstające, które leżą poza odchyleniem standardowym 3 całych danych.

Obove boxplot jest rysowany po przycięciu przy 3-krotnym odchyleniu standardowym. Ale jeśli przycinamy przy 1,5-krotnym odchyleniu standardowym, pozostałe wartości odstające również zostaną usunięte.

W przeciwnym razie stosujemy metodę capping. Capping to zastąpienie wartości odstających leżących poza 3 odchyleniami standardowymi danych za pomocą 3 punktów odchylenia standardowego. Jest to przydatne, gdy wartości odstające przekraczają 5% lub zbiór danych jest mały. W takim przypadku przycinanie doprowadzi do utraty ważnych danych.

Metoda IQR

Metoda IQR jest stosowana, gdy dane są przekrzywione. Obliczamy 25 i 75 percentyl i znajdujemy IQR. IQR to 75 percentyl minus 25 percentyl. Dla górnego zakresu dodaj 1,5-krotność IQR do 75 percentyla, a dla dolnego zakresu 25 percentyla minus 1,5-krotność IQR.

Teraz, gdy znajdujemy górny i dolny zakres, możemy wykonać albo przycinanie, albo ograniczanie. Jeśli jest 5% lub mniej wartości odstających, a dane są duże, po prostu przycinamy wartości odstające, które leżą poza górnym i zakresem. W przeciwnym razie wykonujemy capping i zamieniamy punkt na górny i dolny zakres

Tutaj przykład przycinania

Ponieważ było mniej wartości odstających, zastosowaliśmy przycinanie. Również ze względu na wypaczenie danych zastosowaliśmy metodę IQR.

Oto przykład cappingu

Ponieważ wartości odstających było więcej, zastosowaliśmy capping.