L'analyse exploratoire des données (EDA) est une étape cruciale dans le flux de travail de la science des données qui aide à comprendre la structure et le contenu des données. Dans cet article, nous fournirons une introduction à EDA en Python, ainsi que des exemples de code utilisant les bibliothèques Pandas et Matplotlib.

Importation de données

La première étape dans EDA consiste à importer les données dans Python. Nous utiliserons un ensemble de données du référentiel d'apprentissage automatique de l'UCI qui contient des informations sur la qualité du vin. L'ensemble de données peut être téléchargé à partir d' ici .

Nous pouvons utiliser la bibliothèque Pandas pour importer les données d'un fichier CSV :

import pandas as pd 
data = pd.read_csv('winequality-red.csv', sep=';')

Une fois que nous avons importé les données, l'étape suivante consiste à comprendre sa structure et son contenu. Nous pouvons commencer par regarder les premières lignes des données en utilisant la head()méthode :

print(data.head())

print(data.info())

Visualiser les données

L'EDA implique également la visualisation des données pour identifier les modèles et les relations. Nous pouvons utiliser la bibliothèque Matplotlib pour créer un histogramme des notes de qualité des vins : pythonCopy cod

import matplotlib.pyplot as plt 
plt.hist(data['quality']) 

plt.xlabel('Quality') 
plt.ylabel('Count') 
plt.show()

Nous pouvons également créer un nuage de points de deux variables pour visualiser leur relation. Par exemple, nous pouvons créer un nuage de points de la teneur en alcool par rapport à la qualité : pythonCopy code

plt.scatter(data['alcohol'], data['quality']) 

plt.xlabel('Alcohol') 
plt.ylabel('Quality') 
plt.show()

Nettoyer les données

L'EDA implique également le nettoyage des données pour supprimer toute valeur manquante ou erronée. Nous pouvons utiliser la bibliothèque Pandas pour identifier et supprimer toutes les lignes avec des valeurs manquantes : pythonCopy code

data.dropna(inplace=True)

Voici quelques exemples supplémentaires d'EDA en Python :

Exemple 1 : jeu de données Titanic

L'ensemble de données Titanic est un exemple classique utilisé pour enseigner l'apprentissage automatique. L'ensemble de données contient des informations sur les passagers du Titanic, y compris leur âge, leur sexe, la classe de leur billet et s'ils ont survécu ou non à la catastrophe.

Voici comment nous pouvons effectuer l'EDA sur l'ensemble de données Titanic : pythonCopier le code

import pandas as pd
import seaborn as sns

titanic = pd.read_csv('titanic.csv')

# Display summary statistics of the numerical columns
print(titanic.describe())

# Visualize the distribution of passenger ages
sns.histplot(data=titanic, x="Age", hue="Survived", bins=20)

# Visualize the relationship between fare and survival rate
sns.boxplot(data=titanic, x="Survived", y="Fare")

Exemple 2 : jeu de données Iris

L'ensemble de données Iris est un autre exemple classique utilisé pour enseigner l'apprentissage automatique. L'ensemble de données contient des informations sur différentes espèces de fleurs d'iris, y compris la longueur et la largeur de leurs pétales et sépales.

Voici comment nous pouvons effectuer l'EDA sur l'ensemble de données Iris :

import pandas as pd
import seaborn as sns

iris = sns.load_dataset('iris')

# Display summary statistics of the numerical columns
print(iris.describe())

# Visualize the relationship between petal length and width
sns.scatterplot(data=iris, x="petal_length", y="petal_width", hue="species")

# Visualize the distribution of sepal length for each species
sns.kdeplot(data=iris, x="sepal_length", hue="species", fill=True)

Exemple 3 : Ensemble de données sur le logement d'Ames

L'ensemble de données Ames Housing est un exemple concret utilisé pour prédire les prix des logements. L'ensemble de données contient des informations sur divers attributs de maisons à Ames, Iowa, y compris leur taille, leur emplacement et leur état.

Voici comment nous pouvons effectuer l'EDA sur l'ensemble de données Ames Housing :

import pandas as pd
import seaborn as sns

housing = pd.read_csv('housing.csv')

# Display summary statistics of the numerical columns
print(housing.describe())

# Visualize the distribution of sale prices
sns.histplot(data=housing, x="SalePrice")

# Visualize the relationship between living area and sale price
sns.scatterplot(data=housing, x="GrLivArea", y="SalePrice", hue="OverallQual")

En effectuant une EDA sur ces ensembles de données, les scientifiques des données peuvent obtenir des informations précieuses sur les données, identifier les problèmes potentiels et prendre des décisions éclairées sur les modèles d'apprentissage automatique à utiliser.

Conclusion

L'EDA est une étape critique du flux de travail de la science des données qui aide à comprendre la structure et le contenu des données. Dans cet article, nous avons fourni une introduction à EDA en Python, ainsi que quelques exemples de code utilisant les bibliothèques Pandas et Matplotlib. Nous avons expliqué comment importer et comprendre les données, comment visualiser les données et comment nettoyer les données.

En effectuant une EDA, les scientifiques des données peuvent identifier les problèmes potentiels avec les données qui pourraient avoir un impact sur l'exactitude des résultats finaux.