Analisis data eksplorasi (EDA) adalah langkah penting dalam alur kerja ilmu data yang membantu memahami struktur dan konten data. Pada artikel ini, kami akan memberikan pengantar EDA dengan Python, beserta beberapa contoh kode menggunakan library Pandas dan Matplotlib.

Mengimpor Data

Langkah pertama dalam EDA adalah mengimpor data ke Python. Kami akan menggunakan dataset dari UCI Machine Learning Repository yang berisi informasi tentang kualitas wine. Dataset dapat diunduh dari sini .

Kita dapat menggunakan pustaka Pandas untuk mengimpor data dari file CSV:

import pandas as pd 
data = pd.read_csv('winequality-red.csv', sep=';')

Setelah kami mengimpor data, langkah selanjutnya adalah memahami struktur dan kontennya. Kita bisa mulai dengan melihat beberapa baris pertama dari data menggunakan head()metode:

print(data.head())

print(data.info())

Memvisualisasikan Data

EDA juga melibatkan visualisasi data untuk mengidentifikasi pola dan hubungan. Kita dapat menggunakan pustaka Matplotlib untuk membuat histogram peringkat kualitas anggur:pythonCopy cod

import matplotlib.pyplot as plt 
plt.hist(data['quality']) 

plt.xlabel('Quality') 
plt.ylabel('Count') 
plt.show()

Kami juga dapat membuat sebar plot dari dua variabel untuk memvisualisasikan hubungan mereka. Misalnya, kita dapat membuat sebar konten alkohol versus kualitas: kode pythonCopy

plt.scatter(data['alcohol'], data['quality']) 

plt.xlabel('Alcohol') 
plt.ylabel('Quality') 
plt.show()

Membersihkan Data

EDA juga melibatkan pembersihan data untuk menghilangkan nilai yang hilang atau salah. Kita dapat menggunakan perpustakaan Pandas untuk mengidentifikasi dan menghapus setiap baris dengan nilai yang hilang:pythonSalin kode

data.dropna(inplace=True)

Berikut beberapa contoh EDA dengan Python:

Contoh 1: Kumpulan Data Titanic

Dataset Titanic adalah contoh klasik yang digunakan untuk pembelajaran mesin pembelajaran. Dataset berisi informasi tentang penumpang di Titanic, termasuk usia, jenis kelamin, kelas tiket, dan apakah mereka selamat atau tidak dari bencana tersebut.

Inilah cara kami melakukan EDA pada kumpulan data Titanic:pythonCopy code

import pandas as pd
import seaborn as sns

titanic = pd.read_csv('titanic.csv')

# Display summary statistics of the numerical columns
print(titanic.describe())

# Visualize the distribution of passenger ages
sns.histplot(data=titanic, x="Age", hue="Survived", bins=20)

# Visualize the relationship between fare and survival rate
sns.boxplot(data=titanic, x="Survived", y="Fare")

Contoh 2: Kumpulan Data Iris

Dataset Iris adalah contoh klasik lain yang digunakan untuk pembelajaran mesin pembelajaran. Kumpulan data berisi informasi tentang berbagai spesies bunga Iris, termasuk panjang dan lebar kelopak dan sepalnya.

Inilah cara kami melakukan EDA pada dataset Iris:

import pandas as pd
import seaborn as sns

iris = sns.load_dataset('iris')

# Display summary statistics of the numerical columns
print(iris.describe())

# Visualize the relationship between petal length and width
sns.scatterplot(data=iris, x="petal_length", y="petal_width", hue="species")

# Visualize the distribution of sepal length for each species
sns.kdeplot(data=iris, x="sepal_length", hue="species", fill=True)

Contoh 3: Dataset Perumahan Ames

Dataset Ames Housing adalah contoh dunia nyata yang digunakan untuk memprediksi harga rumah. Dataset berisi informasi tentang berbagai atribut rumah di Ames, Iowa, termasuk ukuran, lokasi, dan kondisinya.

Inilah cara kami melakukan EDA pada kumpulan data Perumahan Ames:

import pandas as pd
import seaborn as sns

housing = pd.read_csv('housing.csv')

# Display summary statistics of the numerical columns
print(housing.describe())

# Visualize the distribution of sale prices
sns.histplot(data=housing, x="SalePrice")

# Visualize the relationship between living area and sale price
sns.scatterplot(data=housing, x="GrLivArea", y="SalePrice", hue="OverallQual")

Dengan melakukan EDA pada kumpulan data ini, ilmuwan data dapat memperoleh wawasan berharga tentang data, mengidentifikasi potensi masalah, dan membuat keputusan yang tepat tentang model pembelajaran mesin mana yang akan digunakan.

Kesimpulan

EDA adalah langkah penting dalam alur kerja ilmu data yang membantu memahami struktur dan konten data. Pada artikel ini, kami menyediakan pengantar EDA dengan Python, beserta beberapa contoh kode menggunakan library Pandas dan Matplotlib. Kami membahas cara mengimpor dan memahami data, cara memvisualisasikan data, dan cara membersihkan data.

Dengan melakukan EDA, ilmuwan data dapat mengidentifikasi potensi masalah pada data yang dapat memengaruhi keakuratan hasil akhir.