데이터 프레임을 피벗하는 방법은 무엇입니까?
Nov 07 2017
- 피벗이란 무엇입니까?
- 피벗은 어떻게하나요?
- 피벗인가요?
- 긴 형식에서 넓은 형식으로?
피벗 테이블에 대해 묻는 질문을 많이 보았습니다. 피벗 테이블에 대해 묻는다는 사실을 모르더라도 대개 그렇습니다. 피벗의 모든 측면을 포괄하는 표준 질문과 답변을 작성하는 것은 사실상 불가능합니다.
... 그러나 나는 그것을 줄 것입니다.
기존 질문과 답변의 문제점은 종종 기존의 좋은 답변을 많이 사용하기 위해 OP가 일반화하는 데 어려움이있는 뉘앙스에 질문이 집중된다는 것입니다. 그러나 답변 중 어느 것도 포괄적 인 설명을 제공하지 않습니다 (힘든 작업이기 때문에)
내 Google 검색 에서 몇 가지 예를 살펴보십시오.
- 좋은 질문과 답변입니다. 그러나 대답은 설명이 거의없이 특정 질문에 대해서만 대답합니다.
- 이 질문에서 OP는 피벗의 출력과 관련이 있습니다. 즉, 열이 어떻게 보이는지. OP는 R처럼 보이기를 원했습니다. 이것은 pandas 사용자에게별로 도움이되지 않습니다.
- 또 다른 괜찮은 질문이지만 대답은 한 가지 방법, 즉
pd.DataFrame.pivot
따라서 누군가가 검색 할 때마다 pivot특정 질문에 답하지 못할 가능성이있는 산발적 인 결과를 얻습니다.
설정
아래 답변에서 피벗하는 방법과 일치하도록 열과 관련 열 값의 이름을 눈에 띄게 명명했음을 알 수 있습니다.
import numpy as np
import pandas as pd
from numpy.core.defchararray import add
np.random.seed([3,1415])
n = 20
cols = np.array(['key', 'row', 'item', 'col'])
arr1 = (np.random.randint(5, size=(n, 4)) // [2, 1, 2, 1]).astype(str)
df = pd.DataFrame(
add(cols, arr1), columns=cols
).join(
pd.DataFrame(np.random.rand(n, 2).round(2)).add_prefix('val')
)
print(df)
key row item col val0 val1
0 key0 row3 item1 col3 0.81 0.04
1 key1 row2 item1 col2 0.44 0.07
2 key1 row0 item1 col0 0.77 0.01
3 key0 row4 item0 col2 0.15 0.59
4 key1 row0 item2 col1 0.81 0.64
5 key1 row2 item2 col4 0.13 0.88
6 key2 row4 item1 col3 0.88 0.39
7 key1 row4 item1 col1 0.10 0.07
8 key1 row0 item2 col4 0.65 0.02
9 key1 row2 item0 col2 0.35 0.61
10 key2 row0 item2 col1 0.40 0.85
11 key2 row4 item1 col2 0.64 0.25
12 key0 row2 item2 col3 0.50 0.44
13 key0 row4 item1 col4 0.24 0.46
14 key1 row3 item2 col3 0.28 0.11
15 key0 row3 item1 col1 0.31 0.23
16 key0 row0 item2 col3 0.86 0.01
17 key0 row4 item0 col3 0.64 0.21
18 key2 row2 item2 col0 0.13 0.45
19 key0 row2 item0 col4 0.37 0.70
질문
나는 왜
ValueError: Index contains duplicate entries, cannot reshape어떻게 선회 할
df있도록col값이 열이며,row값은 인덱스, 그리고의 평균val0값입니다?col col0 col1 col2 col3 col4 row row0 0.77 0.605 NaN 0.860 0.65 row2 0.13 NaN 0.395 0.500 0.25 row3 NaN 0.310 NaN 0.545 NaN row4 NaN 0.100 0.395 0.760 0.24값이 열, 값이 인덱스, 값의 평균 , 누락 된 값이
df되도록 피벗하려면 어떻게해야 합니까?colrowval00col col0 col1 col2 col3 col4 row row0 0.77 0.605 0.000 0.860 0.65 row2 0.13 0.000 0.395 0.500 0.25 row3 0.00 0.310 0.000 0.545 0.00 row4 0.00 0.100 0.395 0.760 0.24mean아마도 다른 것을 얻을 수 있습니까sum?col col0 col1 col2 col3 col4 row row0 0.77 1.21 0.00 0.86 0.65 row2 0.13 0.00 0.79 0.50 0.50 row3 0.00 0.31 0.00 1.09 0.00 row4 0.00 0.10 0.79 1.52 0.24한 번에 하나 이상의 집계를 수행 할 수 있습니까?
sum mean col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4 row row0 0.77 1.21 0.00 0.86 0.65 0.77 0.605 0.000 0.860 0.65 row2 0.13 0.00 0.79 0.50 0.50 0.13 0.000 0.395 0.500 0.25 row3 0.00 0.31 0.00 1.09 0.00 0.00 0.310 0.000 0.545 0.00 row4 0.00 0.10 0.79 1.52 0.24 0.00 0.100 0.395 0.760 0.24여러 값 열을 집계 할 수 있습니까?
val0 val1 col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4 row row0 0.77 0.605 0.000 0.860 0.65 0.01 0.745 0.00 0.010 0.02 row2 0.13 0.000 0.395 0.500 0.25 0.45 0.000 0.34 0.440 0.79 row3 0.00 0.310 0.000 0.545 0.00 0.00 0.230 0.00 0.075 0.00 row4 0.00 0.100 0.395 0.760 0.24 0.00 0.070 0.42 0.300 0.46여러 열로 세분화 할 수 있습니까?
item item0 item1 item2 col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4 row row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.605 0.86 0.65 row2 0.35 0.00 0.37 0.00 0.00 0.44 0.00 0.00 0.13 0.000 0.50 0.13 row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.000 0.28 0.00 row4 0.15 0.64 0.00 0.00 0.10 0.64 0.88 0.24 0.00 0.000 0.00 0.00또는
item item0 item1 item2 col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4 key row key0 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.86 0.00 row2 0.00 0.00 0.37 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.50 0.00 row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.00 0.00 0.00 row4 0.15 0.64 0.00 0.00 0.00 0.00 0.00 0.24 0.00 0.00 0.00 0.00 key1 row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.81 0.00 0.65 row2 0.35 0.00 0.00 0.00 0.00 0.44 0.00 0.00 0.00 0.00 0.00 0.13 row3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.28 0.00 row4 0.00 0.00 0.00 0.00 0.10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 key2 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.40 0.00 0.00 row2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.00 0.00 0.00 row4 0.00 0.00 0.00 0.00 0.00 0.64 0.88 0.00 0.00 0.00 0.00 0.00열과 행이 함께 발생하는 빈도 (일명 "교차 표")를 집계 할 수 있습니까?
col col0 col1 col2 col3 col4 row row0 1 2 0 1 1 row2 1 0 2 1 2 row3 0 1 0 2 0 row4 0 1 2 2 1두 개의 열만 피벗하여 DataFrame을 long에서 wide로 어떻게 변환합니까? 주어진,
np.random.seed([3, 1415]) df2 = pd.DataFrame({'A': list('aaaabbbc'), 'B': np.random.choice(15, 8)}) df2 A B 0 a 0 1 a 11 2 a 2 3 a 11 4 b 10 5 b 10 6 b 14 7 c 7예상은 다음과 같아야합니다.
a b c 0 0.0 10.0 7.0 1 11.0 10.0 NaN 2 2.0 14.0 NaN 3 11.0 NaN NaN여러 인덱스를 단일 인덱스로 병합하려면 어떻게합니까?
pivot에서
1 2 1 1 2 a 2 1 1 b 2 1 0 c 1 0 0에
1|1 2|1 2|2 a 2 1 1 b 2 1 0 c 1 0 0
답변
333 piRSquared Nov 07 2017 at 15:00
첫 번째 질문에 답하는 것으로 시작합니다.
질문 1
나는 왜
ValueError: Index contains duplicate entries, cannot reshape
이는 Pandas가 중복 항목이 있는 columns또는 index객체 를 다시 색인화하려고하기 때문에 발생 합니다. 피벗을 수행 할 수있는 다양한 방법이 있습니다. 그들 중 일부는 피벗을 요청하는 키의 중복이있을 때 적합하지 않습니다. 예를 들면. 고려하십시오 pd.DataFrame.pivot. row및 col값 을 공유하는 중복 항목이 있음을 알고 있습니다 .
df.duplicated(['row', 'col']).any()
True
그래서 내가 pivot사용할 때
df.pivot(index='row', columns='col', values='val0')
위에서 언급 한 오류가 발생합니다. 실제로 다음과 같은 작업을 수행하려고하면 동일한 오류가 발생합니다.
df.set_index(['row', 'col'])['val0'].unstack()
다음은 피벗에 사용할 수있는 관용구 목록입니다.
pd.DataFrame.groupby+pd.DataFrame.unstack- 거의 모든 유형의 피벗을 수행하기위한 좋은 일반적인 접근 방식
- 한 그룹에서 피벗 된 행 수준과 열 수준을 구성 할 모든 열을 지정합니다. 집계 할 나머지 열과 집계를 수행 할 함수를 선택하면됩니다. 마지막으로
unstack열 인덱스에 포함하려는 수준입니다.
pd.DataFrame.pivot_tablegroupby보다 직관적 인 API 를 갖춘 의 영광 된 버전입니다 . 많은 사람들에게 이것이 선호되는 접근 방식입니다. 그리고 개발자가 의도 한 접근 방식입니다.- 행 수준, 열 수준, 집계 할 값 및 집계를 수행 할 함수를 지정합니다.
pd.DataFrame.set_index+pd.DataFrame.unstack- 일부 (자신 포함)에게 편리하고 직관적입니다. 중복 그룹화 된 키를 처리 할 수 없습니다.
groupby패러다임과 유사하게, 결국 행 또는 열 수준이 될 모든 열을 지정하고이를 인덱스로 설정합니다. 그런 다음unstack열에서 원하는 수준을 선택합니다. 나머지 인덱스 수준이나 열 수준이 고유하지 않으면이 방법은 실패합니다.
pd.DataFrame.pivotset_index중복 키 제한을 공유한다는 점에서 매우 유사합니다 . API도 매우 제한적입니다.index,,columns에 대한 스칼라 값만 사용합니다values.pivot_table피벗 할 행, 열 및 값을 선택한다는 점 에서 방법과 유사합니다 . 그러나 집계 할 수 없으며 행이나 열이 고유하지 않은 경우이 메서드는 실패합니다.
pd.crosstab- 이 특수 버전은
pivot_table가장 순수한 형태로 여러 작업을 수행하는 가장 직관적 인 방법입니다.
- 이 특수 버전은
pd.factorize+np.bincount- 이것은 매우 모호하지만 매우 빠른 고도의 기술입니다. 모든 상황에서 사용할 수있는 것은 아니지만, 사용할 수 있고 편안하게 사용할 때 성능 보상을 받게됩니다.
pd.get_dummies+pd.DataFrame.dot- 나는 이것을 교묘하게 교차 표로 수행하기 위해 사용합니다.
예
각각의 후속 답변과 질문에 대해 제가하려는 것은 pd.DataFrame.pivot_table. 그런 다음 동일한 작업을 수행 할 수있는 대안을 제공하겠습니다.
질문 3
값이 열, 값이 인덱스, 값의 평균 , 누락 된 값이
df되도록 피벗하려면 어떻게해야 합니까?colrowval00
pd.DataFrame.pivot_tablefill_value기본적으로 설정되지 않습니다. 나는 그것을 적절하게 설정하는 경향이 있습니다. 이 경우 나는 그것을0. 이 답변과 동일하기 때문에 질문 2 를 건너 뛰었 습니다.fill_valueaggfunc='mean'기본값이며 설정할 필요가 없습니다. 나는 그것을 명시 적으로 포함시켰다.df.pivot_table( values='val0', index='row', columns='col', fill_value=0, aggfunc='mean') col col0 col1 col2 col3 col4 row row0 0.77 0.605 0.000 0.860 0.65 row2 0.13 0.000 0.395 0.500 0.25 row3 0.00 0.310 0.000 0.545 0.00 row4 0.00 0.100 0.395 0.760 0.24
pd.DataFrame.groupbydf.groupby(['row', 'col'])['val0'].mean().unstack(fill_value=0)pd.crosstabpd.crosstab( index=df['row'], columns=df['col'], values=df['val0'], aggfunc='mean').fillna(0)
질문 4
mean아마도 다른 것을 얻을 수 있습니까sum?
pd.DataFrame.pivot_tabledf.pivot_table( values='val0', index='row', columns='col', fill_value=0, aggfunc='sum') col col0 col1 col2 col3 col4 row row0 0.77 1.21 0.00 0.86 0.65 row2 0.13 0.00 0.79 0.50 0.50 row3 0.00 0.31 0.00 1.09 0.00 row4 0.00 0.10 0.79 1.52 0.24pd.DataFrame.groupbydf.groupby(['row', 'col'])['val0'].sum().unstack(fill_value=0)pd.crosstabpd.crosstab( index=df['row'], columns=df['col'], values=df['val0'], aggfunc='sum').fillna(0)
질문 5
한 번에 하나 이상의 집계를 수행 할 수 있습니까?
for pivot_table와 crosstab나는 콜 러블 목록을 전달해야했습니다. 반면에 groupby.agg제한된 수의 특수 기능을 위해 문자열을 사용할 수 있습니다. groupby.agg또한 우리가 다른 사람들에게 전달한 것과 동일한 콜 러블을 가져 왔을 것입니다. 그러나 얻을 수있는 효율성이 있으므로 문자열 함수 이름을 활용하는 것이 더 효율적입니다.
pd.DataFrame.pivot_tabledf.pivot_table( values='val0', index='row', columns='col', fill_value=0, aggfunc=[np.size, np.mean]) size mean col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4 row row0 1 2 0 1 1 0.77 0.605 0.000 0.860 0.65 row2 1 0 2 1 2 0.13 0.000 0.395 0.500 0.25 row3 0 1 0 2 0 0.00 0.310 0.000 0.545 0.00 row4 0 1 2 2 1 0.00 0.100 0.395 0.760 0.24pd.DataFrame.groupbydf.groupby(['row', 'col'])['val0'].agg(['size', 'mean']).unstack(fill_value=0)pd.crosstabpd.crosstab( index=df['row'], columns=df['col'], values=df['val0'], aggfunc=[np.size, np.mean]).fillna(0, downcast='infer')
질문 6
여러 값 열을 집계 할 수 있습니까?
pd.DataFrame.pivot_table우리는 통과values=['val0', 'val1']했지만 그것을 완전히 잊을 수있었습니다df.pivot_table( values=['val0', 'val1'], index='row', columns='col', fill_value=0, aggfunc='mean') val0 val1 col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4 row row0 0.77 0.605 0.000 0.860 0.65 0.01 0.745 0.00 0.010 0.02 row2 0.13 0.000 0.395 0.500 0.25 0.45 0.000 0.34 0.440 0.79 row3 0.00 0.310 0.000 0.545 0.00 0.00 0.230 0.00 0.075 0.00 row4 0.00 0.100 0.395 0.760 0.24 0.00 0.070 0.42 0.300 0.46pd.DataFrame.groupbydf.groupby(['row', 'col'])['val0', 'val1'].mean().unstack(fill_value=0)
질문 7
여러 열로 세분화 할 수 있습니까?
pd.DataFrame.pivot_tabledf.pivot_table( values='val0', index='row', columns=['item', 'col'], fill_value=0, aggfunc='mean') item item0 item1 item2 col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4 row row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.605 0.86 0.65 row2 0.35 0.00 0.37 0.00 0.00 0.44 0.00 0.00 0.13 0.000 0.50 0.13 row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.000 0.28 0.00 row4 0.15 0.64 0.00 0.00 0.10 0.64 0.88 0.24 0.00 0.000 0.00 0.00pd.DataFrame.groupbydf.groupby( ['row', 'item', 'col'] )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)
질문 8
여러 열로 세분화 할 수 있습니까?
pd.DataFrame.pivot_tabledf.pivot_table( values='val0', index=['key', 'row'], columns=['item', 'col'], fill_value=0, aggfunc='mean') item item0 item1 item2 col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4 key row key0 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.86 0.00 row2 0.00 0.00 0.37 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.50 0.00 row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.00 0.00 0.00 row4 0.15 0.64 0.00 0.00 0.00 0.00 0.00 0.24 0.00 0.00 0.00 0.00 key1 row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.81 0.00 0.65 row2 0.35 0.00 0.00 0.00 0.00 0.44 0.00 0.00 0.00 0.00 0.00 0.13 row3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.28 0.00 row4 0.00 0.00 0.00 0.00 0.10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 key2 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.40 0.00 0.00 row2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.00 0.00 0.00 row4 0.00 0.00 0.00 0.00 0.00 0.64 0.88 0.00 0.00 0.00 0.00 0.00pd.DataFrame.groupbydf.groupby( ['key', 'row', 'item', 'col'] )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)pd.DataFrame.set_index키 세트가 행과 열 모두에 대해 고유하기 때문에df.set_index( ['key', 'row', 'item', 'col'] )['val0'].unstack(['item', 'col']).fillna(0).sort_index(1)
질문 9
열과 행이 함께 발생하는 빈도 (일명 "교차 표")를 집계 할 수 있습니까?
pd.DataFrame.pivot_tabledf.pivot_table(index='row', columns='col', fill_value=0, aggfunc='size') col col0 col1 col2 col3 col4 row row0 1 2 0 1 1 row2 1 0 2 1 2 row3 0 1 0 2 0 row4 0 1 2 2 1pd.DataFrame.groupbydf.groupby(['row', 'col'])['val0'].size().unstack(fill_value=0)pd.crosstabpd.crosstab(df['row'], df['col'])pd.factorize+np.bincount# get integer factorization `i` and unique values `r` # for column `'row'` i, r = pd.factorize(df['row'].values) # get integer factorization `j` and unique values `c` # for column `'col'` j, c = pd.factorize(df['col'].values) # `n` will be the number of rows # `m` will be the number of columns n, m = r.size, c.size # `i * m + j` is a clever way of counting the # factorization bins assuming a flat array of length # `n * m`. Which is why we subsequently reshape as `(n, m)` b = np.bincount(i * m + j, minlength=n * m).reshape(n, m) # BTW, whenever I read this, I think 'Bean, Rice, and Cheese' pd.DataFrame(b, r, c) col3 col2 col0 col1 col4 row3 2 0 0 1 0 row2 1 2 1 0 2 row0 1 0 1 2 1 row4 2 2 0 1 1pd.get_dummiespd.get_dummies(df['row']).T.dot(pd.get_dummies(df['col'])) col0 col1 col2 col3 col4 row0 1 2 0 1 1 row2 1 0 2 1 2 row3 0 1 0 2 0 row4 0 1 2 2 1
질문 10
두 개의 열만 피벗하여 DataFrame을 long에서 wide로 어떻게 변환합니까?
첫 번째 단계는 각 행에 숫자를 할당하는 것입니다.이 숫자는 피벗 된 결과에서 해당 값의 행 인덱스가됩니다. 이것은 다음을 사용하여 수행됩니다 GroupBy.cumcount.
df2.insert(0, 'count', df.groupby('A').cumcount())
df2
count A B
0 0 a 0
1 1 a 11
2 2 a 2
3 3 a 11
4 0 b 10
5 1 b 10
6 2 b 14
7 0 c 7
두 번째 단계는 새로 만든 열을 호출 할 인덱스로 사용하는 것 DataFrame.pivot입니다.
df2.pivot(*df)
# df.pivot(index='count', columns='A', values='B')
A a b c
count
0 0.0 10.0 7.0
1 11.0 10.0 NaN
2 2.0 14.0 NaN
3 11.0 NaN NaN
질문 11
여러 인덱스를 단일 인덱스로 병합하려면 어떻게합니까?
pivot
문자열로 columns입력 object하는 경우join
df.columns = df.columns.map('|'.join)
그밖에 format
df.columns = df.columns.map('{0[0]}|{0[1]}'.format)
6 Ch3steR Jun 05 2020 at 23:08
@piRSquared의 답변 을 질문 10의 다른 버전으로 확장하려면
질문 10.1
DataFrame :
d = data = {'A': {0: 1, 1: 1, 2: 1, 3: 2, 4: 2, 5: 3, 6: 5},
'B': {0: 'a', 1: 'b', 2: 'c', 3: 'a', 4: 'b', 5: 'a', 6: 'c'}}
df = pd.DataFrame(d)
A B
0 1 a
1 1 b
2 1 c
3 2 a
4 2 b
5 3 a
6 5 c
산출:
0 1 2
A
1 a b c
2 a b None
3 a None None
5 c None None
df.groupby및 사용pd.Series.tolist
t = df.groupby('A')['B'].apply(list)
out = pd.DataFrame(t.tolist(),index=t.index)
out
0 1 2
A
1 a b c
2 a b None
3 a None None
5 c None None
또는 pd.pivot_tablewith를 사용하는 훨씬 더 나은 대안df.squeeze.
t = df.pivot_table(index='A',values='B',aggfunc=list).squeeze()
out = pd.DataFrame(t.tolist(),index=t.index)