Guide EDA-Ultimate pour les débutants.

Feb 27 2023

Qu'est-ce que l'EDA exactement ? Dans n'importe quel domaine donné, on veut en savoir plus sur les nouvelles idées. Que peuvent-ils changer et que peuvent-ils ajouter pour améliorer leur entreprise ? Nous avons tendance à voir de jolies visualisations au cours de ce processus, des graphiques, etc.

Qu'est-ce que l'EDA exactement ?

Dans n'importe quel domaine donné, on veut en savoir plus sur les nouvelles idées. Que peuvent-ils changer et que peuvent-ils ajouter pour améliorer leur entreprise ? Nous avons tendance à voir de jolies visualisations au cours de ce processus, des graphiques, etc.

En tant que data scientist, vous voulez voir comment les variables sont liées les unes aux autres, et si je suis honnête, il est plus facile d'expliquer à une partie prenante ce qui se passe exactement lorsque vous utilisez des visualisations.

Dans cet article, je ferai de mon mieux pour être orienté vers les détails, nous commencerons depuis le début avec un exemple d'ensemble de données. Nous effectuerons une EDA sur un ensemble de données sur le logement.

Charger le jeu de données

2. Prévisualisez l'ensemble de données.

Avoir une idée des types de données avec lesquels nous sommes censés travailler.

La raison pour laquelle notre nombre de colonnes a diminué est que (description) ne s'applique qu'aux colonnes numériques.

Avons-nous des valeurs nulles ? Ou des données dupliquées ?

Nous avons une règle, si cela n'améliore pas votre analyse, c'est vraiment du bruit pour vos données. Cela étant dit, nous vérifierons s'il y a des doublons ou des valeurs manquantes.

Le code que nous utiliserons est :

#This is to get the total number of missing values.
ames_houses_df.isnull().sum()
#This is to get the sum of duplicates.
ames_houses_df.duplicated().sum()

Il existe plusieurs bibliothèques Python qui peuvent être utilisées pour faire des visualisations, dans les exemples, l'utilisation de seaborn sera illustrée. Voici la documentation . Mais si vous êtes plus curieux, jetez un coup d'œil à matplotlib .

Cela étant dit, passons à la partie la plus intéressante ! Dans EDA, il existe deux types d'analyse :

Analyse univariée

Lorsque vous analysez une seule variable, il peut s'agir de vérifier la distribution ou même de compter.

Certaines méthodes visuelles pour l'analyse univariée comprennent :

Histogrammes : diagrammes à barres dans lesquels la fréquence des données est représentée par des barres rectangulaires.
Boîtes à moustaches : Ici, les informations sont représentées sous forme de boîtes.

Création d'un histogramme à l'aide de seaborn.

Analyse bivariée

Dans ce cas, vous prenez 2 variables et vous les comparez. Vous essayez d'apprendre leur relation entre elles ou plutôt leur relation (corrélation).

# scatter plot for Saleprice/Total rooms above ground.
sns.scatterplot( data= ames_houses_df, x="TotRms AbvGrd",y="SalePrice")

Il y a tellement d'aspects qui peuvent être étudiés dans le monde de l'EDA, c'est juste une question d'expérimentation avec les documentations liées ci-dessus. Il y a tellement de choses à ce sujet dont nous n'avons pas parlé mais c'est une étape dans le bonne direction.