Python Pandas - ข้อมูลกระจัดกระจาย

วัตถุกระจัดกระจายจะถูก "บีบอัด" เมื่อข้อมูลใด ๆ ที่ตรงกับค่าเฉพาะ (NaN / ค่าที่ขาดหายไปแม้ว่าจะสามารถเลือกค่าใดก็ได้) อ็อบเจ็กต์ SparseIndex พิเศษจะติดตามที่ข้อมูลถูก "กระจัดกระจาย" สิ่งนี้จะเข้าท่ากว่าในตัวอย่าง โครงสร้างข้อมูล Pandas มาตรฐานทั้งหมดใช้ไฟล์to_sparse วิธีการ -

import pandas as pd
import numpy as np

ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts

มัน output มีดังนี้ -

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)

วัตถุกระจัดกระจายมีอยู่ด้วยเหตุผลด้านประสิทธิภาพของหน่วยความจำ

ให้เราสมมติว่าคุณมี NA DataFrame ขนาดใหญ่และรันโค้ดต่อไปนี้ -

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()

print sdf.density

มัน output มีดังนี้ -

0.0001

วัตถุที่กระจัดกระจายสามารถแปลงกลับเป็นรูปแบบมาตรฐานหนาแน่นได้โดยการโทร to_dense -

import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()

มัน output มีดังนี้ -

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64

Dtypes เบาบาง

ข้อมูลกระจัดกระจายควรมี dtype เดียวกันกับการแสดงข้อมูลที่หนาแน่น ปัจจุบันfloat64, int64 และ booldtypesได้รับการสนับสนุน ขึ้นอยู่กับต้นฉบับdtype, fill_value default การเปลี่ยนแปลง -

  • float64 - np.nan

  • int64 - 0

  • bool - เท็จ

ให้เรารันโค้ดต่อไปนี้เพื่อให้เข้าใจตรงกัน -

import pandas as pd
import numpy as np

s = pd.Series([1, np.nan, np.nan])
print s

s.to_sparse()
print s

มัน output มีดังนี้ -

0   1.0
1   NaN
2   NaN
dtype: float64

0   1.0
1   NaN
2   NaN
dtype: float64