Python Pandas 2.0 yeni yayınlandı ve işte ekledikleri ve geliştirdikleri şeyler (bu birçok şeyi değiştirecek)

Veri endüstrisinde çalışıyorsanız (veri mühendisliği/bilim/ml) Pandaların ne olduğunu zaten biliyor olabilirsiniz.

Özellikle Veri Mühendisliğinden bahsetmişken Pandas, büyük bir veri kümesiyle çalışırken optimum performans vermediği için çok fazla nefret alırdı.

Pandas 2.0 bu yönde atılmış bir adım, işte ilk 3 özellik

Daha hızlı ve bellek açısından daha verimli işlemler

Arka uçta pyarrow için destek eklediler.

pyarrow arka ucu, pandas 2.0'daki yeni bir özelliktir ve kullanıcıların pandalar DataFrames ve Series için alternatif bir veri depolama formatı olarak Apache Arrow'u kullanmalarına izin verir.

Bu, pandas 2.0'da Parquet dosyalarını okurken veya yazarken, verileri işlemek için varsayılan olarak pyarrow'u kullanacağı ve bunun sonucunda daha hızlı ve bellek açısından daha verimli işlemler sağlayacağı anlamına gelir.

pırasa nedir?
Pyarrow, paralel olarak okumayı ve işlemeyi kolaylaştıran verileri düzenlemenin bir yolu olan sütunlu bir bellek biçimi sağlayan bir kitaplıktır.

Özetle, pandas 2.0'da pyarrow arka ucunun kullanılması, özellikle büyük veri kümeleriyle çalışırken daha hızlı ve bellek açısından daha verimli veri işlemleriyle sonuçlanabilir.

Yazma Üzerine Kopyalama Optimizasyonu

Spark'a ve kodu nasıl yürüttüğüne benzer

Büyük veri kümeleriyle çalışırken performansı artırmak ve bellek kullanımını azaltmak için pandalarda kullanılan bir bellek optimizasyon tekniğidir.

Buradaki fikir, DataFrame veya Series gibi bir pandas nesnesinin kopyasını oluşturduğunuzda, verilerin hemen yeni bir kopyasını oluşturmak yerine, pandaların orijinal verilere bir referans oluşturacak ve siz değiştirene kadar yeni bir kopya oluşturmayı erteleyecek olmasıdır. bir şekilde veri.

Bu, aynı verilerin birden çok kopyasına sahipseniz, siz bunlardan birinde değişiklik yapana kadar hepsinin aynı belleğe başvurabileceği anlamına gelir. Verilerin gereksiz kopyalarını oluşturmanız gerekmediğinden bu, bellek kullanımını önemli ölçüde azaltabilir ve performansı artırabilir.

Genel olarak, Copy-on-Write, büyük veri kümeleriyle daha verimli ve daha az bellekle çalışmanıza yardımcı olabilecek güçlü bir optimizasyon tekniğidir.

Dizin artık NumPy sayısal türlerini tutabilir

Hızlı Özet: Daha iyi dizinler, daha hızlı erişim ve hesaplamalar

Ayrıntılar:
Pandas 2.0, Index'in int8, int16, int32, int64, uint8, uint16, uint32, uint64, float32 ve float64 dahil olmak üzere herhangi bir NumPy sayısal tipini tutmasına izin verir.

Daha önce yalnızca int64, uint64 ve float64 türleri destekleniyordu.

Sonuç olarak, daha önce 64 bitlik dizinler oluşturan işlemler artık 32 bitlik dizinler gibi daha düşük bit boyutlu dizinler oluşturabilir.

TL;DR
1. Daha hızlı ve bellek açısından daha verimli işlemlerle sonuçlanan yedekte pyarrow eklendi.
2. Yazma Üzerine Kopyalama Optimizasyonu: Spark'a benzer ve kodu yürütme biçimi
3. Dizin artık NumPy sayısal türlerini tutabilir ve bu da daha hızlı işlemler sağlar

Veri Mühendisliği için Python kursuma da bu özelliklerle ilgili öğreticiler ekleyeceğim.

Veri Mühendisliği için Python hakkında her şeyi öğrenmek istiyorsanız kontrol edin

https://learn.datawithdarshil.com/courses/Python-for-Data-Engineering