Pour gérer les valeurs aberrantes, nous devons d'abord savoir quelles sont les valeurs aberrantes. Les valeurs aberrantes sont des observations indésirables qui diffèrent considérablement du reste des données. Il peut y avoir de nombreuses raisons pour les valeurs aberrantes, nous explorerons les raisons des valeurs aberrantes une autre fois.

Pouvons-nous travailler tant qu'il y a des valeurs aberrantes dans les données ? La réponse est Oui, dans certains cas, vous pouvez travailler sans vous en préoccuper. Lorsque vous travaillez avec des algorithmes d'apprentissage automatique / d'apprentissage en profondeur qui fonctionnent en calculant des poids, vous devez supprimer les valeurs aberrantes car elles sont sensibles aux valeurs aberrantes telles que les régressions linéaires, la régression logistique, le clustering hiérarchique, le clustering kmeans, l'ACP et les réseaux de neurones, etc. D'un autre côté, certains algorithmes fonctionne bien avec les valeurs aberrantes comme SVM, Random Forest, Decision Tree, etc.

Il existe donc principalement deux méthodes pour supprimer les valeurs aberrantes en fonction de la distribution gaussienne/distribution normale .

• Méthode du score Z
• Méthode IQR

Le score Z est utilisé lorsque vos données sont distribuées de manière gaussienne ou presque gaussienne. Nous calculons la moyenne des données entières et pour la plage supérieure, ajoutons 3 fois l'écart type des données, pour la plage inférieure soustrayons avec 3 fois l'écart type des données. Nous faisons généralement 3 écarts types et parfois 1,5 écarts types également.

Maintenant, nous plafonnons ou éliminons en fonction du nombre de valeurs aberrantes. S'il y a 5 % ou moins de valeurs aberrantes et que l'ensemble de données est volumineux, nous supprimons simplement les valeurs aberrantes qui se situent en dehors de 3 écarts types des données entières.

La boîte à moustaches ci-dessus est dessinée après rognage à 3 fois l'écart-type. Mais si nous rognons à 1,5 fois l'écart-type, les valeurs aberrantes restantes sont également supprimées.

Sinon, nous utilisons la méthode de plafonnement. Le plafonnement remplace les valeurs aberrantes situées en dehors de 3 écart-type des données par 3 points d'écart-type. Il est utile lorsqu'il y a plus de 5 % de valeurs aberrantes ou que l'ensemble de données est petit. Dans ce cas, le rognage entraînera la perte de données importantes.

Méthode IQR

La méthode IQR est utilisée lorsque vos données sont faussées. Nous calculons les 25 et 75 centiles et trouvons l'IQR. L'IQR est le 75e centile moins le 25e centile. Pour la plage supérieure, ajoutez 1,5 fois l'IQR au 75 centile et pour la plage inférieure 25 centile moins 1,5 fois l'IQR.

Maintenant que nous trouvons la plage supérieure et inférieure, nous pouvons soit ajuster soit plafonner. S'il y a 5 % ou moins de valeurs aberrantes et que les données sont volumineuses, nous supprimons simplement les valeurs aberrantes qui se trouvent en dehors de la plage supérieure et de la plage. Sinon, nous plafonnons et remplaçons le point par la plage supérieure et inférieure

Voici un exemple de découpage

Comme il y avait moins de valeurs aberrantes, nous avons utilisé le rognage. De plus, en raison du biais des données, nous avons utilisé la méthode IQR.

Ici un exemple de plafonnement

Comme il y avait plus de valeurs aberrantes, nous avons utilisé le plafonnement.