L'analisi esplorativa dei dati (EDA) è un passaggio cruciale nel flusso di lavoro della scienza dei dati che aiuta a comprendere la struttura e il contenuto dei dati. In questo articolo, forniremo un'introduzione a EDA in Python, insieme ad alcuni esempi di codice che utilizzano le librerie Pandas e Matplotlib.

Importazione dei dati

Il primo passo in EDA è importare i dati in Python. Useremo un set di dati dall'UCI Machine Learning Repository che contiene informazioni sulla qualità del vino. Il set di dati può essere scaricato da qui .

Possiamo utilizzare la libreria Pandas per importare i dati da un file CSV:

import pandas as pd 
data = pd.read_csv('winequality-red.csv', sep=';')

Una volta importati i dati, il passo successivo è comprenderne la struttura e il contenuto. Possiamo iniziare osservando le prime righe dei dati utilizzando il head()metodo:

print(data.head())

print(data.info())

Visualizzare i dati

L'EDA implica anche la visualizzazione dei dati per identificare modelli e relazioni. Possiamo usare la libreria Matplotlib per creare un istogramma delle valutazioni di qualità del vino:pythonCopy cod

import matplotlib.pyplot as plt 
plt.hist(data['quality']) 

plt.xlabel('Quality') 
plt.ylabel('Count') 
plt.show()

Possiamo anche creare un grafico a dispersione di due variabili per visualizzare la loro relazione. Ad esempio, possiamo creare un grafico a dispersione del contenuto di alcol rispetto al codice quality:pythonCopy

plt.scatter(data['alcohol'], data['quality']) 

plt.xlabel('Alcohol') 
plt.ylabel('Quality') 
plt.show()

Pulizia dei dati

EDA comporta anche la pulizia dei dati per rimuovere eventuali valori mancanti o errati. Possiamo usare la libreria Pandas per identificare e rimuovere qualsiasi riga con valori mancanti: codice pythonCopy

data.dropna(inplace=True)

Ecco alcuni altri esempi di EDA in Python:

Esempio 1: set di dati Titanic

Il set di dati Titanic è un classico esempio utilizzato per insegnare l'apprendimento automatico. Il set di dati contiene informazioni sui passeggeri del Titanic, tra cui età, sesso, classe del biglietto e se sono sopravvissuti o meno al disastro.

Ecco come possiamo eseguire EDA sul set di dati del Titanic: codice pythonCopy

import pandas as pd
import seaborn as sns

titanic = pd.read_csv('titanic.csv')

# Display summary statistics of the numerical columns
print(titanic.describe())

# Visualize the distribution of passenger ages
sns.histplot(data=titanic, x="Age", hue="Survived", bins=20)

# Visualize the relationship between fare and survival rate
sns.boxplot(data=titanic, x="Survived", y="Fare")

Esempio 2: set di dati dell'iride

Il set di dati Iris è un altro classico esempio utilizzato per insegnare l'apprendimento automatico. Il set di dati contiene informazioni su diverse specie di fiori di iris, inclusa la lunghezza e la larghezza dei loro petali e sepali.

Ecco come possiamo eseguire l'EDA sul set di dati Iris:

import pandas as pd
import seaborn as sns

iris = sns.load_dataset('iris')

# Display summary statistics of the numerical columns
print(iris.describe())

# Visualize the relationship between petal length and width
sns.scatterplot(data=iris, x="petal_length", y="petal_width", hue="species")

# Visualize the distribution of sepal length for each species
sns.kdeplot(data=iris, x="sepal_length", hue="species", fill=True)

Esempio 3: set di dati sulle abitazioni di Ames

Il set di dati Ames Housing è un esempio reale utilizzato per prevedere i prezzi delle case. Il set di dati contiene informazioni su vari attributi delle case ad Ames, Iowa, comprese le dimensioni, l'ubicazione e le condizioni.

Ecco come possiamo eseguire l'EDA sul set di dati di Ames Housing:

import pandas as pd
import seaborn as sns

housing = pd.read_csv('housing.csv')

# Display summary statistics of the numerical columns
print(housing.describe())

# Visualize the distribution of sale prices
sns.histplot(data=housing, x="SalePrice")

# Visualize the relationship between living area and sale price
sns.scatterplot(data=housing, x="GrLivArea", y="SalePrice", hue="OverallQual")

Eseguendo l'EDA su questi set di dati, i data scientist possono ottenere preziose informazioni sui dati, identificare potenziali problemi e prendere decisioni informate sui modelli di machine learning da utilizzare.

Conclusione

L'EDA è un passaggio fondamentale nel flusso di lavoro di data science che aiuta a comprendere la struttura e il contenuto dei dati. In questo articolo, abbiamo fornito un'introduzione a EDA in Python, insieme ad alcuni esempi di codice che utilizzano le librerie Pandas e Matplotlib. Abbiamo spiegato come importare e comprendere i dati, come visualizzare i dati e come pulire i dati.

Eseguendo l'EDA, i data scientist possono identificare potenziali problemi con i dati che potrebbero influire sull'accuratezza dei risultati finali.