timeseries 데이터 프레임에 행을 추가하는 방법은 무엇입니까?

Dec 31 2020

timeseries 엑셀 파일에서 데이터 프레임에로드되는 프로그램을 작성하고 있으며 몇 가지 기본 계산을 사용하여 여러 개의 새 열을 만듭니다. 내 프로그램은 때때로 일부 레코드에 대해 몇 달이 누락 된 Excel 파일을 읽을 것입니다. 따라서 아래 예에는 두 개의 다른 상점에 대한 월별 판매 데이터가 있습니다. 상점은 다른 달에 열리므로 첫 번째 월말 날짜가 다릅니다. 그러나 둘 다 2020 년 9 월 30 일까지 월말 데이터를 가져야합니다. 내 파일에서 Store BBB에는 2020 년 8 월 31 일 및 2020 년 9 월 30 일에 대한 기록이 없습니다.

저장	개설 된 달	상태	시티	월 종료일	매상
AAA	2020 년 5 월 31 일	NY	뉴욕	2020 년 5 월 31 일	1000
AAA	2020 년 5 월 31 일	NY	뉴욕	2020 년 6 월 30 일	5000
AAA	2020 년 5 월 31 일	NY	뉴욕	2020 년 7 월 30 일	3000
AAA	2020 년 5 월 31 일	NY	뉴욕	2020 년 8 월 31 일	4000
AAA	2020 년 5 월 31 일	NY	뉴욕	2020 년 9 월 30 일	2000 년
BBB	2020 년 6 월 30 일	CT	Hartford	2020 년 6 월 30 일	100
BBB	2020 년 6 월 30 일	CT	Hartford	2020 년 7 월 30 일	200

따라서 이와 같은 인스턴스의 경우 8/31 및 9/30에 대해 Store BBB에 대해 두 행을 추가 할 수 있기를 원합니다. 새 행은 가장 최근의 월말 날짜와 동일한 개설 된 월, 주 및시를 사용해야합니다. 새 행 모두에 대해 Sales를 0으로 설정해야합니다. 지금은 다음 단계를 수행합니다.

상점 이름과 각 상점에 대한 최대 월 종료 날짜 및 전체 시계열 데이터 프레임에 대한 최대 월 종료 날짜를 사용하여 데이터 프레임 "MaxDateData"를 작성하고이 필드의 이름을 "가장 최근 날짜"로 지정합니다.

저장	최대 월 종료 날짜	가장 최근 날짜
AAA	2020 년 9 월 30 일	2020 년 9 월 30 일
BBB	2020 년 7 월 30 일	2020 년 9 월 30 일

기본 시계열 데이터 프레임의 가장 최근 행으로 "MostRecent"데이터 프레임을 만듭니다. 이를 위해 시계열 데이터 프레임과 Store Name 및 Max Month End Date의 MaxDateData 사이에 내부 조인을 수행합니다.

저장	개설 된 달	상태	시티	월 종료일	매상	최대 월 종료 날짜	가장 최근 날짜
AAA	2020 년 5 월 31 일	NY	뉴욕	2020 년 9 월 30 일	2000 년	2020 년 9 월 30 일	2020 년 9 월 30 일
BBB	2020 년 6 월 30 일	CT	Hartford	2020 년 7 월 30 일	200	2020 년 7 월 30 일	2020 년 9 월 30 일

Where 절을 사용하여 "RequireBackfill_MostRecent"데이터 프레임을 만들어 최대 월 종료 날짜 <가장 최근 날짜 인 상점을 필터링합니다. 아래 코드를 참조하십시오. 따라서이 예에서 RequireBackfill_MostRecent 테이블에는 상점 BBB에 대한 행만 있습니다.

RequireBackfill_Stores_MostRecent = MaxDateData.where(MaxDateData['Max Month End Date'] <MaxDateData['Most Recent Date'])
RequireBackfill_MostRecent = MostRecent.merge(RequireBackfill_Stores_MostRecent,how='inner')

그런 다음 두 개의 중첩 된 for 루프를 사용하여 채워야하는 날짜를 순환합니다. Store BBB 만 포함하는 RequireBackfill_MostRecent 데이터 프레임을 활용합니다.

X=[]
end = MaxDateData['Most Recent Date'][0]
for i in MonthlyData['Month End Date'].unique():
    per1 = pd.date_range(start = i,  end = end, freq ='M') 
    for val in per1: 
        Data=[]
        Data = RequireBackfill_MostRecent[["Store"
                                           ,"Month Opened"
                                           ,"City"
                                           ,"State"
                                           ]].where(RequireBackfill_MostRecent['Max Month End date']==i).dropna()   

        Data["Month End Date"]= val                
        Data["Sales"]= 0
        X.append(Data)
NewData = pd.concat(X)

그런 다음 concat을 사용하여 NewData를 내 timeseries 데이터 프레임에 추가합니다.

FullData_List = [MonthlyData,NewData]
FullData=pd.concat(FullData_List)

이 전체 프로세스가 작동하지만이를 수행하는 훨씬 더 효율적인 방법이 있습니까? 더 큰 데이터로 작업을 시작하면 비용이 많이들 수 있습니다.

timeseries 데이터 프레임에 행을 추가하는 방법은 무엇입니까?

답변