Pandy scalają listę z tym samym identyfikatorem
Jak mądrze łączyć kolumny typu listy w pandach? Na przykład patrz poniżej-
Przed,
1 a [a,b,c]
1 b [a,d]
Po,
1 b [a,b,c,d]
Zrobiłem kolumny mądre listy konkatenacji, jak poniżej,
df['all_poi'] = df['poi_part1'] + df['poi_part2']
Wyjście prądowe
location_id city all_poi
6265981 Port Severn [Mount St. Louis Moonstone , Horseshoe Valley , Lake Muskoka]
6265981 Port Severn [Mount St. Louis Moonstone , Little Lake Park , Bamboo Spa , Lake Huron]
Oczekiwany wynik
location_id city all_poi
6265981 Port Severn [Mount St. Louis Moonstone , Horseshoe Valley , Lake Muskoka, Little Lake Park , Bamboo Spa , Lake Huron]
Sprawdź wartość all_poi, która scala wartość na podstawie location_id
Odpowiedzi
Możesz tworzyć zestawy w funkcji niestandardowej w GroupBy.agg:
f = lambda x: list(set(z for y in x for z in y))
df = df.groupby(['location_id', 'city'])['all_poi'].agg(f).reset_index()
print (df)
location_id city all_poi
0 Port Severn [Bamboo Spa, Mount St.Louis Moonstone, Lake Hu...
Jeśli kolejność i wydajność są ważne, użyj dictdo usuwania duplikatów:
f = lambda x: list(dict.fromkeys([z for y in x for z in y]).keys())
Innym pomysłem jest użycie unique:
f = lambda x: pd.unique([z for y in x for z in y]).tolist()
EDYTOWAĆ:
Jeśli istnieje wiele kolumn i potrzebujesz pierwszych wartości na grupy:
df.groupby('location_id').agg({'city': 'first', 'all_poi': f}).reset_index()
Jeśli potrzeba trochę inna metoda agregacji jak sum, mean, join:
df.groupby('location_id').agg({'city': 'first',
'all_poi': f,
'cols1':'sum',
'vals': ','.join,
'vals1': lambda x: list(x)}).reset_index()
Wygląda na to, że poniższe odpowiedzi są bardziej zwięzłe, ale możesz złożyć wniosek sumza pomocą grupy, aby połączyć listy. Następnie utwórz zestaw, aby pozbyć się duplikatów i przekonwertuj z setnalist
import pandas as pd
df = pd.DataFrame([['1' ,'New York', ['a','b','c']], ['1', 'New York', ['a','d']]],
columns = ['location_id', 'city','all_poi'])
df.groupby(('location_id'))['all_poi'].apply(sum).apply(set).apply(list)
Co powiesz na proste sum():
res=df.groupby(["location_id"], as_index=False).agg({"city": "last", "all_poi": "sum"})
res["all_poi"]=res["all_poi"].map(set)
Wyjścia:
Before
location_id ... all_poi
0 6265981 ... [Mount St. Louis Moonstone, Horseshoe Valley, Lake Muskoka]
1 6265981 ... [Mount St. Louis Moonstone, Little Lake Park, Bamboo Spa, Lake Huron]
After:
location_id ... all_poi
0 6265981 ... {Horseshoe Valley, Lake Muskoka, Lake Huron, Bamboo Spa, Little Lake Park, Mount St. Louis Moonstone}