Die explorative Datenanalyse (EDA) ist ein entscheidender Schritt im Data-Science-Workflow, der hilft, die Struktur und den Inhalt der Daten zu verstehen. In diesem Artikel bieten wir eine Einführung in EDA in Python sowie einige Codebeispiele unter Verwendung der Pandas- und Matplotlib-Bibliotheken.

Daten importieren

Der erste Schritt in EDA besteht darin, die Daten in Python zu importieren. Wir verwenden einen Datensatz aus dem UCI Machine Learning Repository, der Informationen zur Weinqualität enthält. Der Datensatz kann hier heruntergeladen werden .

Wir können die Pandas-Bibliothek verwenden, um die Daten aus einer CSV-Datei zu importieren:

import pandas as pd 
data = pd.read_csv('winequality-red.csv', sep=';')

Nachdem wir die Daten importiert haben, besteht der nächste Schritt darin, deren Struktur und Inhalt zu verstehen. Wir können damit beginnen, die ersten Zeilen der Daten mit der folgenden head()Methode zu betrachten:

print(data.head())

print(data.info())

Visualisierung der Daten

Zur EDA gehört auch die Visualisierung der Daten, um Muster und Zusammenhänge zu erkennen. Wir können die Matplotlib-Bibliothek verwenden, um ein Histogramm der Weinqualitätsbewertungen zu erstellen:pythonCopy cod

import matplotlib.pyplot as plt 
plt.hist(data['quality']) 

plt.xlabel('Quality') 
plt.ylabel('Count') 
plt.show()

Wir können auch ein Streudiagramm zweier Variablen erstellen, um ihre Beziehung zu visualisieren. Beispielsweise können wir ein Streudiagramm des Alkoholgehalts im Vergleich zur Qualität erstellen: PythonCopy-Code

plt.scatter(data['alcohol'], data['quality']) 

plt.xlabel('Alcohol') 
plt.ylabel('Quality') 
plt.show()

Bereinigen der Daten

EDA umfasst auch die Bereinigung der Daten, um fehlende oder fehlerhafte Werte zu entfernen. Wir können die Pandas-Bibliothek verwenden, um alle Zeilen mit fehlenden Werten zu identifizieren und zu entfernen: Python Code kopieren

data.dropna(inplace=True)

Hier sind ein paar weitere Beispiele für EDA in Python:

Beispiel 1: Titanic-Datensatz

Der Titanic-Datensatz ist ein klassisches Beispiel für die Vermittlung von maschinellem Lernen. Der Datensatz enthält Informationen über Passagiere der Titanic, einschließlich Alter, Geschlecht, Ticketklasse und ob sie die Katastrophe überlebt haben oder nicht.

So können wir EDA für den Titanic-Datensatz durchführen: PythonCode kopieren

import pandas as pd
import seaborn as sns

titanic = pd.read_csv('titanic.csv')

# Display summary statistics of the numerical columns
print(titanic.describe())

# Visualize the distribution of passenger ages
sns.histplot(data=titanic, x="Age", hue="Survived", bins=20)

# Visualize the relationship between fare and survival rate
sns.boxplot(data=titanic, x="Survived", y="Fare")

Beispiel 2: Iris-Datensatz

Der Iris-Datensatz ist ein weiteres klassisches Beispiel für das Unterrichten von maschinellem Lernen. Der Datensatz enthält Informationen über verschiedene Arten von Irisblüten, einschließlich der Länge und Breite ihrer Blüten- und Kelchblätter.

So können wir EDA für den Iris-Datensatz durchführen:

import pandas as pd
import seaborn as sns

iris = sns.load_dataset('iris')

# Display summary statistics of the numerical columns
print(iris.describe())

# Visualize the relationship between petal length and width
sns.scatterplot(data=iris, x="petal_length", y="petal_width", hue="species")

# Visualize the distribution of sepal length for each species
sns.kdeplot(data=iris, x="sepal_length", hue="species", fill=True)

Beispiel 3: Ames Housing-Datensatz

Der Ames Housing-Datensatz ist ein reales Beispiel für die Vorhersage von Immobilienpreisen. Der Datensatz enthält Informationen zu verschiedenen Eigenschaften von Häusern in Ames, Iowa, einschließlich ihrer Größe, Lage und Zustand.

So können wir eine EDA für den Ames Housing-Datensatz durchführen:

import pandas as pd
import seaborn as sns

housing = pd.read_csv('housing.csv')

# Display summary statistics of the numerical columns
print(housing.describe())

# Visualize the distribution of sale prices
sns.histplot(data=housing, x="SalePrice")

# Visualize the relationship between living area and sale price
sns.scatterplot(data=housing, x="GrLivArea", y="SalePrice", hue="OverallQual")

Durch die Durchführung einer EDA an diesen Datensätzen können Datenwissenschaftler wertvolle Einblicke in die Daten gewinnen, potenzielle Probleme identifizieren und fundierte Entscheidungen darüber treffen, welche Modelle für maschinelles Lernen verwendet werden sollen.

Abschluss

EDA ist ein entscheidender Schritt im Data-Science-Workflow, der hilft, die Struktur und den Inhalt der Daten zu verstehen. In diesem Artikel haben wir eine Einführung in EDA in Python bereitgestellt, zusammen mit einigen Codebeispielen unter Verwendung der Pandas- und Matplotlib-Bibliotheken. Wir haben erläutert, wie man die Daten importiert und versteht, wie man die Daten visualisiert und wie man die Daten bereinigt.

Durch die Durchführung einer EDA können Datenwissenschaftler potenzielle Probleme mit den Daten identifizieren, die sich auf die Genauigkeit der Endergebnisse auswirken könnten.