Python Dataframe Set True, если последние n строк верны
Sep 03 2020
Я хочу создать новый столбец, где in, True, если последние n строк имеют значение True в другом столбце. Работает отлично, как я и хотел. Проблема в том, что на это уходит много времени.
dfx = pd.DataFrame({'A':[False,False,False,False,True,True,True,True,False,True]})
n=2 ## n to cover 10 min range samples
cl_id = dfx.columns.tolist().index('A') ### cl_id for index number of the column for using in .iloc
l1=[False]*n+[all(dfx.iloc[x+1-n:x+1,cl_id].tolist()) for x in np.arange(n,len(dfx))]
dfx['B'] = l1
print(dfx)
#old_col # New_col
A B
0 False False
1 False False
2 False False
3 False False
4 True False
5 True True ## Here A col last two rows True, hence True
6 True True ## Here A col last two rows True, hence True
7 True True ## Here A col last two rows True, hence True
8 False False
9 True False
Есть лучший способ сделать это. На запуск и выдачу результатов уходит много времени.
Ответы
1 Chris Sep 04 2020 at 03:24
Использование pandas.Series.rolling:
n = 2
dfx["A"].rolling(n).sum().eq(n)
Вывод:
0 False
1 False
2 False
3 False
4 False
5 True
6 True
7 True
8 False
9 False
Name: A, dtype: bool
Тест против OP (примерно в 1000 раз быстрее):
dfx = pd.DataFrame({'A':[False,False,False,False,True,True,True,True,False,True]*1000})
%timeit -n10 l1 = dfx["A"].rolling(n).sum().eq(n)
# 702 µs ± 88.6 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
%timeit -n10 l2 = [False]*n+[all(dfx.iloc[x+1-n:x+1,cl_id].tolist()) for x in np.arange(n,len(dfx))]
# 908 ms ± 24 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
l1.tolist() == l2
# True