Python Pandas - rzadkie dane

Rzadkie obiekty są „kompresowane”, gdy jakiekolwiek dane pasujące do określonej wartości (NaN / brakująca wartość, chociaż można wybrać dowolną wartość) są pomijane. Specjalny obiekt SparseIndex śledzi, gdzie dane zostały „rozproszone”. Na przykładzie będzie to o wiele bardziej sensowne. Wszystkie standardowe struktury danych Pandas stosują rozszerzenieto_sparse metoda -

import pandas as pd
import numpy as np

ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts

Jego output wygląda następująco -

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)

Rzadkie obiekty istnieją ze względu na wydajność pamięci.

Załóżmy teraz, że masz dużą ramkę danych NA i wykonaj następujący kod -

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()

print sdf.density

Jego output wygląda następująco -

0.0001

Każdy rzadki obiekt można przekształcić z powrotem w standardową gęstą formę przez wywołanie to_dense -

import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()

Jego output wygląda następująco -

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64

Rzadkie Dtypes

Rzadkie dane powinny mieć ten sam typ dty, co ich gęsta reprezentacja. W tej chwili,float64, int64 i booldtypessą obsługiwane. W zależności od oryginałudtype, fill_value default zmiany -

float64 - np.nan
int64 - 0
bool - Fałsz

Wykonajmy następujący kod, aby zrozumieć to samo -

import pandas as pd
import numpy as np

s = pd.Series([1, np.nan, np.nan])
print s

s.to_sparse()
print s

Jego output wygląda następująco -

0   1.0
1   NaN
2   NaN
dtype: float64

0   1.0
1   NaN
2   NaN
dtype: float64