Python Pandas 2.0 baru saja dirilis dan inilah yang mereka tambahkan dan tingkatkan (ini akan mengubah banyak hal)

Jika Anda bekerja di industri data (rekayasa data/sains/ml), Anda mungkin sudah tahu apa itu Panda

Berbicara khusus tentang Rekayasa Data, Pandas dulu mendapat banyak kebencian karena tidak memberikan kinerja yang optimal saat bekerja dengan kumpulan data yang besar.

Pandas 2.0 adalah langkah yang diambil ke arah ini, berikut adalah 3 fitur teratas

Pengoperasian yang lebih cepat dan hemat memori

Mereka menambahkan dukungan untuk pyarrow di backend.

Backend pyarrow adalah fitur baru di panda 2.0 yang memungkinkan pengguna menggunakan Apache Arrow sebagai format penyimpanan data alternatif untuk DataFrames dan Seri panda.

Ini berarti bahwa ketika Anda membaca atau menulis file Parquet di panda 2.0, itu akan menggunakan pyarrow secara default untuk menangani data, menghasilkan operasi yang lebih cepat dan hemat memori.

Apa itu pyrrow?
Pyrrow adalah perpustakaan yang menyediakan format memori berbentuk kolom, yang merupakan cara mengatur data agar lebih mudah dibaca dan diproses secara paralel.

Singkatnya, menggunakan backend pyarrow di pandas 2.0 dapat menghasilkan operasi data yang lebih cepat dan hemat memori, terutama saat bekerja dengan kumpulan data besar.

Optimasi Copy-on-Write

Mirip dengan Spark dan bagaimana mengeksekusi kode

Ini adalah teknik pengoptimalan memori yang digunakan dalam panda untuk meningkatkan kinerja dan mengurangi penggunaan memori saat bekerja dengan kumpulan data besar.

Idenya adalah ketika Anda membuat salinan objek panda, seperti DataFrame atau Seri, alih-alih segera membuat salinan data baru, panda akan membuat referensi ke data asli dan menunda pembuatan salinan baru sampai Anda mengubah data dalam beberapa cara.

Ini berarti bahwa jika Anda memiliki banyak salinan dari data yang sama, semuanya dapat mereferensikan memori yang sama hingga Anda membuat perubahan pada salah satunya. Ini dapat secara signifikan mengurangi penggunaan memori dan meningkatkan kinerja karena Anda tidak perlu membuat salinan data yang tidak perlu.

Secara keseluruhan, Copy-on-Write adalah teknik pengoptimalan hebat yang dapat membantu Anda bekerja dengan kumpulan data besar secara lebih efisien dan dengan lebih sedikit memori.

Indeks sekarang dapat menampung tipe numerik NumPy

Ringkasan Cepat: Indeks yang lebih baik, akses lebih cepat, dan perhitungan

Detail:
Pandas 2.0 memungkinkan Index untuk menyimpan dtype numerik NumPy apa pun, termasuk int8, int16, int32, int64, uint8, uint16, uint32, uint64, float32, dan float64.

Sebelumnya, hanya tipe int64, uint64, dan float64 yang didukung.

Hasilnya, operasi yang sebelumnya membuat indeks 64-bit kini dapat membuat indeks dengan ukuran bit yang lebih rendah, seperti indeks 32-bit.

TL;DR
1. Ditambahkan pyarrow di didukung menghasilkan operasi lebih cepat dan lebih hemat memori.
2. Optimasi Copy-on-Write: mirip dengan Spark dan cara mengeksekusi kode
3. Indeks sekarang dapat menampung tipe numerik NumPy yang menghasilkan operasi lebih cepat

Saya akan menambahkan tutorial tentang fitur-fitur ini dalam kursus Python untuk Rekayasa Data saya juga.

Jika Anda ingin mempelajari segala sesuatu tentang Python untuk Rekayasa Data, periksa

https://learn.datawithdarshil.com/courses/Python-for-Data-Engineering