Для обработки выбросов сначала мы должны знать, что такое выбросы. Выбросы — это нежелательные наблюдения, которые значительно отличаются от остальных данных. Причин для выбросов может быть много, мы рассмотрим причины выбросов в другой раз.

Можем ли мы работать, пока в данных есть выбросы? Ответ: да, в некоторых случаях можно работать, не беспокоясь о них. При работе с алгоритмами машинного обучения / глубокого обучения, которые работают с вычислением весов, вы должны удалить выбросы, поскольку они чувствительны к выбросам, таким как линейная регрессия, логистическая регрессия, иерархическая кластеризация, кластеризация kmeans, PCA и нейронные сети и т. д. С другой стороны, некоторые алгоритмы отлично работает с выбросами, такими как SVM, случайный лес, дерево решений и т. д.

Таким образом, в основном есть два метода удаления выбросов в зависимости от гауссовского распределения/нормального распределения .

• Метод Z-оценки
• IQR-метод

Z Score используется, когда ваши данные распределены по Гауссу или почти по Гауссу. Мы вычисляем среднее значение всех данных и для верхнего диапазона добавляем 3-кратное стандартное отклонение данных, для нижнего диапазона вычитаем 3-кратное стандартное отклонение данных. Обычно мы делаем 3 стандартных отклонения, а иногда также 1,5 стандартных отклонения.

Теперь мы либо ограничиваем, либо обрезаем в зависимости от количества выбросов. Если количество выбросов составляет 5% или меньше, а набор данных большой, мы просто обрезаем выбросы, которые лежат за пределами 3 стандартных отклонений от всех данных.

Вышеприведенный блок-график нарисован после обрезки в 3 раза по стандартному отклонению. Но если мы обрезаем в 1,5 раза по стандартному отклонению, оставшиеся выбросы также удаляются.

В противном случае мы используем метод укупорки. Ограничение заменяет выбросы, лежащие за пределами 3 стандартных отклонений данных, на 3 точки стандартного отклонения. Это полезно, когда имеется более 5% выбросов или набор данных мал. В таком случае обрезка приведет к потере важных данных.

IQR-метод

Метод IQR используется, когда ваши данные искажены. Мы вычисляем 25 и 75 процентили и находим IQR. IQR составляет 75 процентилей минус 25 процентилей. Для верхнего диапазона добавьте 1,5-кратный IQR к 75 процентилю, а для нижнего диапазона 25-перцентиль минус 1,5-кратный IQR.

Теперь, когда мы находим верхний и нижний диапазоны, мы можем выполнить либо обрезку, либо ограничение. Если есть 5% или менее выбросов, а данные большие, мы просто обрезаем выбросы, которые лежат за пределами верхнего предела и диапазона. В противном случае мы делаем ограничение и заменяем точку верхним и нижним диапазоном

Вот пример обрезки

Поскольку выбросов было меньше, мы использовали обрезку. Также из-за искажения данных мы использовали метод IQR.

Вот пример укупорки

Поскольку выбросов было больше, мы использовали ограничение.