Para lidar com outliers primeiro devemos saber o que são outliers. Outliers são observações indesejadas que diferem significativamente do restante dos dados. Pode haver muitos motivos para os outliers, exploraremos os motivos dos outliers em outra ocasião.

Podemos trabalhar enquanto houver outliers nos dados? A resposta é sim, em alguns casos você pode trabalhar sem se preocupar com eles. Ao trabalhar com algoritmos de aprendizado de máquina/aprendizagem profunda que trabalham com pesos de computação, você deve remover outliers porque eles são sensíveis a outliers, como regressões lineares, regressão logística, agrupamento hierárquico, agrupamento de kmeans, PCA e redes neurais, etc. Por outro lado, alguns algoritmos funciona bem com outliers como SVM, Random Forest, Decision Tree etc.

Portanto, existem principalmente dois métodos para remover valores discrepantes, dependendo da distribuição gaussiana/distribuição normal .

• Método Z-score
• Método IQR

Z Score é usado quando seus dados são distribuídos gaussiana ou quase gaussiana. Calculamos a média dos dados inteiros e para o intervalo superior adicionamos 3 desvios padrão de tempo dos dados, para o intervalo inferior subtraímos com 3 desvios padrão de tempo dos dados. Geralmente fazemos 3 desvios padrão e, às vezes, 1,5 desvios padrão também.

Agora, limitamos ou aparamos com base no número de outliers. Se houver 5% ou menos outliers e o conjunto de dados for grande, apenas aparamos os outliers que estão fora de 3 desvios padrão dos dados inteiros.

O boxplot acima é desenhado após o corte em 3 vezes o desvio padrão. Mas se fizermos o corte em 1,5 vezes o desvio padrão, os outliers restantes também serão removidos.

Caso contrário, usamos o método de nivelamento. A limitação está substituindo os outliers fora de 3 desvios padrão de dados com 3 pontos de desvio padrão. É útil quando há mais de 5% de outliers ou o conjunto de dados é pequeno. Nesse caso, o corte levará à perda de dados importantes.

Método IQR

O método IQR é usado quando seus dados são distorcidos. Calculamos os percentis 25 e 75 e encontramos o IQR. IQR é percentil 75 menos percentil 25. Para a faixa superior, adicione 1,5 vezes o IQR ao percentil 75 e, para a faixa inferior, 25 percentil menos 1,5 vezes o IQR.

Agora, conforme encontramos o intervalo superior e inferior, podemos cortar ou limitar. Se houver 5% ou menos outliers e os dados forem grandes, apenas aparamos os outliers que estão fora do intervalo superior e superior. Caso contrário, limitamos e substituímos o ponto pelas faixas superior e inferior

Aqui um exemplo de corte

Como havia menos outliers, usamos o trim. Também devido aos dados serem distorcidos, usamos o método IQR.

Aqui um exemplo de capeamento

Como havia mais outliers, usamos capping.