パンダを使用して発生のリストを取得します
Aug 22 2020
次のような動物のリストが与えられます:
animals = ['cat', 'dog', 'hamster', 'dolphin']
とパンダのデータフレーム、df:
id animals
1 dog,cat
2 dog
3 cat,dolphin
4 cat,dog
5 hamster,dolphin
次のような、各動物の発生を示す新しいデータフレームを取得したいと思います。
animal ids
cat 1,3,4
dog 1,2,4
hamster 5
dolphin 3,5
ループを実行して準備できることはわかっていますが、100万行を超えるデータフレームを持つ80,000を超える単語のリストがあるため、ループを使用して実行するには時間がかかります。データフレームを使用して結果を取得するためのより簡単で高速な方法はありますか?
回答
3 AndyL. Aug 22 2020 at 03:44
使用str.split
、explode
およびagg.join
df_final = (df.astype(str).assign(animals=df.animals.str.split(','))
.explode('animals').groupby('animals').id.agg(','.join)
.reset_index())
Out[155]:
animals id
0 cat 1,3,4
1 dog 1,2,4
2 dolphin 3,5
3 hamster 5
5 BENY Aug 22 2020 at 03:22
私たちは試してみましょうget_dummies
その後、dot
df.animals.str.get_dummies(',').T.dot(df.id.astype(str)+',').str[:-1]
Out[307]:
cat 1,3,4
dog 1,2,4
dolphin 3,5
hamster 5
dtype: object
リストを追加すると考えられる場合 reindex
df.animals.str.get_dummies(',').T.dot(df.id.astype(str)+',').str[:-1].reindex(animals)
Out[308]:
cat 1,3,4
dog 1,2,4
hamster 5
dolphin 3,5
dtype: object
4 Divakar Aug 22 2020 at 04:01
NumPyベースのパフォーマンス用。-
def list_occ(df):
id_col='id'
item_col='animals'
sidx = np.argsort(animals)
s = [i.split(',') for i in df[item_col]]
d = np.concatenate(s)
p = sidx[np.searchsorted(animals, d, sorter=sidx)]
C = np.bincount(p, minlength=len(animals))
l = list(map(len,s))
r = np.repeat(np.arange(len(l)), l)
v = df[id_col].values[r[np.lexsort((r,p))]]
out = pd.DataFrame({'ids':np.split(v, C[:-1].cumsum())}, index=animals)
return out
サンプル実行-
In [41]: df
Out[41]:
id animals
0 1 dog,cat
1 2 dog
2 3 cat,dolphin
3 4 cat,dog
4 5 hamster,dolphin
In [42]: animals
Out[42]: ['cat', 'dog', 'hamster', 'dolphin']
In [43]: list_occ(df)
Out[43]:
ids
cat [1, 3, 4]
dog [1, 2, 4]
hamster [5]
dolphin [3, 5]
ベンチマーク
与えられたサンプルを使用して、アイテムの数を単純にスケールアップします。
# Setup
N = 100 # scale factor
s = [i.split(',') for i in df['animals']]
df_big = pd.DataFrame({'animals':[[j+str(ID) for j in i] for i in s for ID in range(1,N+1)]})
df_big['id'] = range(1, len(df_big)+1)
animals = np.unique(np.concatenate(df_big.animals)).tolist()
df_big['animals'] = [','.join(i) for i in df_big.animals]
df = df_big
タイミング-
# Using given df & scaling it up by replicating elems with progressive IDs
In [9]: N = 100 # scale factor
...: s = [i.split(',') for i in df['animals']]
...: df_big = pd.DataFrame({'animals':[[j+str(ID) for j in i] for i in s for ID in range(1,N+1)]})
...: df_big['id'] = range(1, len(df_big)+1)
...: animals = np.unique(np.concatenate(df_big.animals)).tolist()
...: df_big['animals'] = [','.join(i) for i in df_big.animals]
...: df = df_big
# @BEN_YO's soln-1
In [10]: %timeit df.animals.str.get_dummies(',').T.dot(df.id.astype(str)+',').str[:-1]
163 ms ± 2.94 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
# @BEN_YO's soln-2
In [11]: %timeit df.animals.str.get_dummies(',').T.dot(df.id.astype(str)+',').str[:-1].reindex(animals)
166 ms ± 4.52 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
# @Andy L.'s soln
%timeit (df.astype(str).assign(animals=df.animals.str.split(',')).explode('animals').groupby('animals').id.agg(','.join).reset_index())
13.4 ms ± 74 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
In [12]: %timeit list_occ(df)
2.81 ms ± 101 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)