Pythonパンダ-スパースデータ
スパースオブジェクトは、特定の値に一致するデータ(NaN /欠落値、ただし任意の値を選択できます)が省略されると、「圧縮」されます。特別なSparseIndexオブジェクトは、データが「スパース化」された場所を追跡します。これは、例でははるかに理にかなっています。すべての標準パンダデータ構造は、to_sparse 方法−
import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts
その output 次のとおりです-
0 -0.810497
1 -1.419954
2 NaN
3 NaN
4 NaN
5 NaN
6 NaN
7 NaN
8 0.439240
9 -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)
スパースオブジェクトは、メモリ効率の理由から存在します。
ここで、大きなNA DataFrameがあると仮定して、次のコードを実行します。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()
print sdf.density
その output 次のとおりです-
0.0001
スパースオブジェクトは、を呼び出すことで標準のデンスフォームに戻すことができます。 to_dense −
import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()
その output 次のとおりです-
0 -0.810497
1 -1.419954
2 NaN
3 NaN
4 NaN
5 NaN
6 NaN
7 NaN
8 0.439240
9 -1.095910
dtype: float64
スパースDtype
スパースデータは、そのデンス表現と同じdtypeを持つ必要があります。現在、float64, int64 そして booldtypesサポートされています。オリジナルに応じてdtype, fill_value default 変化-
float64 − np.nan
int64 − 0
bool −誤り
同じことを理解するために次のコードを実行してみましょう-
import pandas as pd
import numpy as np
s = pd.Series([1, np.nan, np.nan])
print s
s.to_sparse()
print s
その output 次のとおりです-
0 1.0
1 NaN
2 NaN
dtype: float64
0 1.0
1 NaN
2 NaN
dtype: float64