이상값을 먼저 처리하려면 이상값이 무엇인지 알아야 합니다. 이상값은 나머지 데이터와 크게 다른 원치 않는 관찰입니다. 이상값에 대한 이유는 여러 가지가 있을 수 있으며 나중에 이상값에 대한 이유를 살펴보겠습니다.

데이터에 이상값이 있는 동안 작업할 수 있습니까? 대답은 예입니다. 경우에 따라 걱정하지 않고 일할 수 있습니다. 가중치를 계산하는 기계 학습/딥 러닝 알고리즘으로 작업하는 동안 선형 회귀, 로지스틱 회귀, 계층적 클러스터링, kmeans 클러스터링, PCA 및 신경망 등과 같은 이상값에 민감하기 때문에 이상값을 제거해야 합니다. 반면에 일부 알고리즘은 SVM, Random Forest, Decision Tree 등과 같은 이상치와 잘 작동합니다.

따라서 가우시안 분포/정규 분포 에 따라 이상값을 제거하는 방법은 주로 두 가지가 있습니다 .

• Z-점수 방법
• IQR 방식

Z 점수는 데이터가 가우시안 분포이거나 거의 가우시안 분포일 때 사용됩니다. 전체 데이터의 평균을 계산하고 상위 범위에 대해 데이터의 3배 표준 편차를 더하고 하위 범위에 대해 데이터의 3배 표준 편차를 뺍니다. 일반적으로 3 표준 편차를 수행하고 때로는 1.5 표준 편차도 수행합니다.

이제 우리는 이상값의 수에 따라 캡핑 또는 트리밍을 수행합니다. 이상값이 5% 이하이고 데이터 세트가 큰 경우 전체 데이터의 3 표준 편차 밖에 있는 이상값을 트리밍합니다 .

위의 박스플롯은 표준편차의 3배에서 트리밍한 후 그린 것입니다. 그러나 표준편차의 1.5배에서 트리밍을 하면 나머지 이상값도 제거됩니다.

그렇지 않으면 캡핑 방법을 사용합니다. 캡핑은 데이터의 3 표준편차 밖에 있는 이상값을 3 표준편차점으로 대체하는 것입니다. 이상값이 5% 이상이거나 데이터 세트가 작을 때 유용합니다. 이 경우 트리밍으로 인해 중요한 데이터가 손실될 수 있습니다.

IQR 방식

IQR 방법은 데이터가 왜곡되었을 때 사용됩니다. 25 및 75 백분위수를 계산하고 IQR을 찾습니다. IQR은 75 백분위수에서 25 백분위수를 뺀 값입니다. 상위 범위의 경우 IQR의 1.5배를 75백분위수에 더하고 하위 범위의 경우 25백분위수에서 IQR의 1.5배를 뺀 값을 추가합니다.

이제 상한 및 하한 범위를 찾으면 트리밍 또는 캡핑을 수행할 수 있습니다. 이상값이 5% 이하이고 데이터가 크면 상한 및 범위 밖에 있는 이상값을 트리밍합니다. 그렇지 않으면 캡핑을 수행하고 포인트를 상한 및 하한 범위로 바꿉니다.

다음은 트리밍의 예입니다.

이상값이 적기 때문에 트리밍을 사용했습니다. 또한 데이터가 왜곡되어 있기 때문에 IQR 방법을 사용했습니다.

다음은 캡핑의 예입니다.

더 많은 이상값이 있으므로 캡핑을 사용했습니다.