Untuk menangani outlier terlebih dahulu kita harus mengetahui apa itu outlier. Outlier adalah pengamatan yang tidak diinginkan yang secara signifikan berbeda dari sisa data lainnya. Mungkin ada banyak alasan outlier, kita akan mengeksplorasi alasan outlier lain kali.

Bisakah kita bekerja saat ada outlier dalam data? Jawabannya adalah Ya, terkadang Anda dapat bekerja tanpa mempedulikannya. Saat bekerja dengan Pembelajaran Mesin / Algoritma Pembelajaran Jauh yang bekerja dengan bobot komputasi, Anda harus menghapus outlier karena mereka sensitif terhadap outlier seperti Regresi Linier, Regresi Logistik, Pengelompokan Hierarkis, Pengelompokan kmeans, PCA dan Jaringan Syaraf dll. Di sisi lain, beberapa algoritme bekerja dengan baik dengan outlier seperti SVM, Hutan Acak, Pohon Keputusan dll.

Jadi ada dua metode utama untuk menghapus outlier tergantung pada distribusi gaussian/Normal Distribution .

• Metode Z-skor
• Metode IQR

Skor Z digunakan ketika data Anda berdistribusi gaussian atau hampir berdistribusi gaussian. Kami menghitung rata-rata seluruh data dan untuk rentang atas tambahkan 3 kali standar deviasi data, untuk rentang yang lebih rendah kurangi dengan 3 kali standar deviasi data. Kami biasanya melakukan 3 standar deviasi dan terkadang 1,5 standar deviasi juga.

Sekarang kita melakukan pembatasan atau pemangkasan berdasarkan jumlah outlier. Jika ada 5% atau kurang outlier dan dataset besar, kita hanya memangkas outlier yang berada di luar 3 standar deviasi dari keseluruhan data.

Boxplot di atas digambar setelah pemangkasan pada standar deviasi 3 kali. Tetapi jika kita melakukan pemangkasan pada 1,5 kali standar deviasi, outlier yang tersisa juga dihapus.

Kalau tidak, kami menggunakan metode pembatasan. Capping adalah mengganti outlier yang berada di luar 3 standar deviasi data dengan 3 titik standar deviasi. Hal ini berguna ketika outlier lebih dari 5% atau dataset kecil. Dalam kasus seperti itu, pemangkasan akan menyebabkan hilangnya data penting.

Metode IQR

Metode IQR digunakan saat data Anda miring. Kami menghitung persentil 25 dan 75 dan menemukan IQR. IQR adalah 75 persentil dikurangi 25 persentil. Untuk rentang atas tambahkan 1,5 kali IQR ke persentil 75 dan untuk rentang lebih rendah 25 persen dikurangi 1,5 kali IQR.

Sekarang saat kami menemukan rentang atas dan bawah, kami dapat melakukan pemangkasan atau pembatasan. Jika terdapat 5% atau kurang outlier dan datanya besar, kami hanya memangkas outlier yang berada di luar rentang atas dan bawah. Kalau tidak, kami melakukan pembatasan dan mengganti titik dengan kisaran atas dan bawah

Berikut contoh pemangkasan

Karena ada lebih sedikit outlier, kami menggunakan pemangkasan. Juga karena data miring kami menggunakan metode IQR.

Berikut contoh capping

Karena ada lebih banyak outlier, kami menggunakan capping.