El análisis exploratorio de datos (EDA) es un paso crucial en el flujo de trabajo de la ciencia de datos que ayuda a comprender la estructura y el contenido de los datos. En este artículo, proporcionaremos una introducción a EDA en Python, junto con algunos ejemplos de código utilizando las bibliotecas Pandas y Matplotlib.

Importación de datos

El primer paso en EDA es importar los datos a Python. Usaremos un conjunto de datos del repositorio de aprendizaje automático de UCI que contiene información sobre la calidad del vino. El conjunto de datos se puede descargar desde aquí .

Podemos usar la biblioteca de Pandas para importar los datos de un archivo CSV:

import pandas as pd 
data = pd.read_csv('winequality-red.csv', sep=';')

Una vez que hemos importado los datos, el siguiente paso es entender su estructura y contenido. Podemos comenzar mirando las primeras filas de los datos usando el head()método:

print(data.head())

print(data.info())

Visualización de los datos

EDA también implica visualizar los datos para identificar patrones y relaciones. Podemos usar la biblioteca Matplotlib para crear un histograma de las calificaciones de calidad del vino: pythonCopy cod

import matplotlib.pyplot as plt 
plt.hist(data['quality']) 

plt.xlabel('Quality') 
plt.ylabel('Count') 
plt.show()

También podemos crear un diagrama de dispersión de dos variables para visualizar su relación. Por ejemplo, podemos crear un diagrama de dispersión del contenido de alcohol frente a la calidad: código pythonCopy

plt.scatter(data['alcohol'], data['quality']) 

plt.xlabel('Alcohol') 
plt.ylabel('Quality') 
plt.show()

Limpieza de los datos

EDA también implica limpiar los datos para eliminar cualquier valor faltante o erróneo. Podemos usar la biblioteca de Pandas para identificar y eliminar cualquier fila con valores faltantes: pythonCopiar código

data.dropna(inplace=True)

Aquí hay algunos ejemplos más de EDA en Python:

Ejemplo 1: conjunto de datos del Titanic

El conjunto de datos Titanic es un ejemplo clásico utilizado para enseñar aprendizaje automático. El conjunto de datos contiene información sobre los pasajeros del Titanic, incluida su edad, sexo, clase de boleto y si sobrevivieron o no al desastre.

Así es como podemos realizar EDA en el conjunto de datos Titanic: pythonCopiar código

import pandas as pd
import seaborn as sns

titanic = pd.read_csv('titanic.csv')

# Display summary statistics of the numerical columns
print(titanic.describe())

# Visualize the distribution of passenger ages
sns.histplot(data=titanic, x="Age", hue="Survived", bins=20)

# Visualize the relationship between fare and survival rate
sns.boxplot(data=titanic, x="Survived", y="Fare")

Ejemplo 2: conjunto de datos de iris

El conjunto de datos Iris es otro ejemplo clásico utilizado para enseñar aprendizaje automático. El conjunto de datos contiene información sobre diferentes especies de flores de Iris, incluida la longitud y el ancho de sus pétalos y sépalos.

Así es como podemos realizar EDA en el conjunto de datos de Iris:

import pandas as pd
import seaborn as sns

iris = sns.load_dataset('iris')

# Display summary statistics of the numerical columns
print(iris.describe())

# Visualize the relationship between petal length and width
sns.scatterplot(data=iris, x="petal_length", y="petal_width", hue="species")

# Visualize the distribution of sepal length for each species
sns.kdeplot(data=iris, x="sepal_length", hue="species", fill=True)

Ejemplo 3: conjunto de datos de viviendas de Ames

El conjunto de datos de Ames Housing es un ejemplo del mundo real que se utiliza para predecir los precios de la vivienda. El conjunto de datos contiene información sobre varios atributos de las casas en Ames, Iowa, incluido su tamaño, ubicación y condición.

Así es como podemos realizar EDA en el conjunto de datos de Ames Housing:

import pandas as pd
import seaborn as sns

housing = pd.read_csv('housing.csv')

# Display summary statistics of the numerical columns
print(housing.describe())

# Visualize the distribution of sale prices
sns.histplot(data=housing, x="SalePrice")

# Visualize the relationship between living area and sale price
sns.scatterplot(data=housing, x="GrLivArea", y="SalePrice", hue="OverallQual")

Al realizar EDA en estos conjuntos de datos, los científicos de datos pueden obtener información valiosa sobre los datos, identificar problemas potenciales y tomar decisiones informadas sobre qué modelos de aprendizaje automático usar.

Conclusión

EDA es un paso crítico en el flujo de trabajo de la ciencia de datos que ayuda a comprender la estructura y el contenido de los datos. En este artículo, brindamos una introducción a EDA en Python, junto con algunos ejemplos de código utilizando las bibliotecas Pandas y Matplotlib. Cubrimos cómo importar y comprender los datos, cómo visualizar los datos y cómo limpiar los datos.

Al realizar EDA, los científicos de datos pueden identificar posibles problemas con los datos que podrían afectar la precisión de los resultados finales.