Pandy scalają listę z tym samym identyfikatorem

Sep 04 2020

Jak mądrze łączyć kolumny typu listy w pandach? Na przykład patrz poniżej-

Przed,

1  a  [a,b,c]  
1  b  [a,d] 

Po,

1  b  [a,b,c,d]

Zrobiłem kolumny mądre listy konkatenacji, jak poniżej,

df['all_poi'] = df['poi_part1'] + df['poi_part2']

Wyjście prądowe

location_id  city            all_poi
6265981     Port Severn     [Mount St. Louis Moonstone , Horseshoe Valley , Lake Muskoka]
6265981     Port Severn     [Mount St. Louis Moonstone ,  Little Lake Park , Bamboo Spa , Lake Huron]

Oczekiwany wynik

location_id    city             all_poi
6265981     Port Severn     [Mount St. Louis Moonstone , Horseshoe Valley , Lake Muskoka, Little Lake Park , Bamboo Spa , Lake Huron]

Sprawdź wartość all_poi, która scala wartość na podstawie location_id

Odpowiedzi

3 jezrael Sep 04 2020 at 09:23

Możesz tworzyć zestawy w funkcji niestandardowej w GroupBy.agg:

f = lambda x: list(set(z for y in x for z in y))
df = df.groupby(['location_id', 'city'])['all_poi'].agg(f).reset_index()
print (df)
  location_id    city                                            all_poi
0        Port  Severn  [Bamboo Spa, Mount St.Louis Moonstone, Lake Hu...

Jeśli kolejność i wydajność są ważne, użyj dictdo usuwania duplikatów:

f = lambda x: list(dict.fromkeys([z for y in x for z in y]).keys())

Innym pomysłem jest użycie unique:

f = lambda x: pd.unique([z for y in x for z in y]).tolist()

EDYTOWAĆ:

Jeśli istnieje wiele kolumn i potrzebujesz pierwszych wartości na grupy:

df.groupby('location_id').agg({'city': 'first', 'all_poi': f}).reset_index()

Jeśli potrzeba trochę inna metoda agregacji jak sum, mean, join:

df.groupby('location_id').agg({'city': 'first', 
                               'all_poi': f, 
                               'cols1':'sum', 
                               'vals': ','.join, 
                               'vals1': lambda x: list(x)}).reset_index()
chitown88 Sep 04 2020 at 09:36

Wygląda na to, że poniższe odpowiedzi są bardziej zwięzłe, ale możesz złożyć wniosek sumza pomocą grupy, aby połączyć listy. Następnie utwórz zestaw, aby pozbyć się duplikatów i przekonwertuj z setnalist

import pandas as pd

df = pd.DataFrame([['1' ,'New York', ['a','b','c']], ['1', 'New York', ['a','d']]],
                   columns = ['location_id', 'city','all_poi'])

df.groupby(('location_id'))['all_poi'].apply(sum).apply(set).apply(list)
GrzegorzSkibinski Sep 04 2020 at 09:27

Co powiesz na proste sum():

res=df.groupby(["location_id"], as_index=False).agg({"city": "last", "all_poi": "sum"})
res["all_poi"]=res["all_poi"].map(set)

Wyjścia:

Before
   location_id  ...                                                                all_poi
0  6265981      ...  [Mount St. Louis Moonstone, Horseshoe Valley, Lake Muskoka]
1  6265981      ...  [Mount St. Louis Moonstone, Little Lake Park, Bamboo Spa, Lake Huron]

After:
   location_id  ...                                                                                                all_poi
0  6265981      ...  {Horseshoe Valley, Lake Muskoka, Lake Huron, Bamboo Spa, Little Lake Park, Mount St. Louis Moonstone}