A análise exploratória de dados (EDA) é uma etapa crucial no fluxo de trabalho da ciência de dados que ajuda a entender a estrutura e o conteúdo dos dados. Neste artigo, forneceremos uma introdução ao EDA em Python, junto com alguns exemplos de código usando as bibliotecas Pandas e Matplotlib.

Importando dados

A primeira etapa no EDA é importar os dados para o Python. Usaremos um conjunto de dados do UCI Machine Learning Repository que contém informações sobre a qualidade do vinho. O conjunto de dados pode ser baixado aqui .

Podemos usar a biblioteca Pandas para importar os dados de um arquivo CSV:

import pandas as pd 
data = pd.read_csv('winequality-red.csv', sep=';')

Depois de importar os dados, o próximo passo é entender sua estrutura e conteúdo. Podemos começar observando as primeiras linhas dos dados usando o head()método:

print(data.head())

print(data.info())

Visualizando os dados

A EDA também envolve a visualização dos dados para identificar padrões e relacionamentos. Podemos usar a biblioteca Matplotlib para criar um histograma das classificações de qualidade do vinho:pythonCopy cod

import matplotlib.pyplot as plt 
plt.hist(data['quality']) 

plt.xlabel('Quality') 
plt.ylabel('Count') 
plt.show()

Também podemos criar um gráfico de dispersão de duas variáveis ​​para visualizar sua relação. Por exemplo, podemos criar um gráfico de dispersão de conteúdo de álcool versus qualidade: código pythonCopy

plt.scatter(data['alcohol'], data['quality']) 

plt.xlabel('Alcohol') 
plt.ylabel('Quality') 
plt.show()

Limpando os dados

A EDA também envolve a limpeza dos dados para remover quaisquer valores ausentes ou incorretos. Podemos usar a biblioteca Pandas para identificar e remover quaisquer linhas com valores ausentes:código pythonCopy

data.dropna(inplace=True)

Aqui estão mais alguns exemplos de EDA em Python:

Exemplo 1: conjunto de dados do Titanic

O conjunto de dados Titanic é um exemplo clássico usado para ensinar aprendizado de máquina. O conjunto de dados contém informações sobre os passageiros do Titanic, incluindo idade, sexo, classe do bilhete e se sobreviveram ou não ao desastre.

Veja como podemos executar o EDA no conjunto de dados do Titanic: código pythonCopy

import pandas as pd
import seaborn as sns

titanic = pd.read_csv('titanic.csv')

# Display summary statistics of the numerical columns
print(titanic.describe())

# Visualize the distribution of passenger ages
sns.histplot(data=titanic, x="Age", hue="Survived", bins=20)

# Visualize the relationship between fare and survival rate
sns.boxplot(data=titanic, x="Survived", y="Fare")

Exemplo 2: conjunto de dados de íris

O conjunto de dados Iris é outro exemplo clássico usado para ensinar aprendizado de máquina. O conjunto de dados contém informações sobre diferentes espécies de flores de íris, incluindo o comprimento e a largura de suas pétalas e sépalas.

Veja como podemos executar o EDA no conjunto de dados Iris:

import pandas as pd
import seaborn as sns

iris = sns.load_dataset('iris')

# Display summary statistics of the numerical columns
print(iris.describe())

# Visualize the relationship between petal length and width
sns.scatterplot(data=iris, x="petal_length", y="petal_width", hue="species")

# Visualize the distribution of sepal length for each species
sns.kdeplot(data=iris, x="sepal_length", hue="species", fill=True)

Exemplo 3: conjunto de dados de habitação Ames

O conjunto de dados Ames Housing é um exemplo do mundo real usado para prever preços de imóveis. O conjunto de dados contém informações sobre vários atributos de casas em Ames, Iowa, incluindo tamanho, localização e condição.

Veja como podemos executar o EDA no conjunto de dados Ames Housing:

import pandas as pd
import seaborn as sns

housing = pd.read_csv('housing.csv')

# Display summary statistics of the numerical columns
print(housing.describe())

# Visualize the distribution of sale prices
sns.histplot(data=housing, x="SalePrice")

# Visualize the relationship between living area and sale price
sns.scatterplot(data=housing, x="GrLivArea", y="SalePrice", hue="OverallQual")

Ao realizar a EDA nesses conjuntos de dados, os cientistas de dados podem obter informações valiosas sobre os dados, identificar possíveis problemas e tomar decisões informadas sobre quais modelos de aprendizado de máquina usar.

Conclusão

A EDA é uma etapa crítica no fluxo de trabalho da ciência de dados que ajuda a entender a estrutura e o conteúdo dos dados. Neste artigo, fornecemos uma introdução ao EDA em Python, juntamente com alguns exemplos de código usando as bibliotecas Pandas e Matplotlib. Cobrimos como importar e entender os dados, como visualizar os dados e como limpar os dados.

Ao realizar a EDA, os cientistas de dados podem identificar possíveis problemas com os dados que podem afetar a precisão dos resultados finais.