Matrice di cooccorrenza dal dataframe dei panda

Aug 26 2020

Problema

Ho un dataframe panda e ho bisogno di contare quante righe ci sono in cui ogni voce univoca nel dataframe si trova all'interno della stessa riga di ogni altra voce.


Post correlati ma diversi

  • Matrice di co-occorrenze dall'elenco di parole in Python : domanda simile alla mia, ma non inizia con un dataframe. La maggior parte delle risposte utilizza iterazioni. Spero che esista una soluzione migliore in Panda.
  • Costruire una matrice di co-occorrenze nei panda python : questo inizia già con un dataframe in cui ci sono solo 0 e 1 nel corpo (immagino che rappresenti i valori effettivi?) Ma non i valori effettivi.
  • Converti frame di dati a due colonne in matrice di occorrenze nei panda : questo post presume che ci siano solo due colonne, il che è piuttosto restrittivo per il caso discusso qui

Configurazione riproducibile

import pandas as pd
import numpy as np

Il dataframe:

df = pd.DataFrame({'a': ['A', 'A', 'B', 'B'],
                   'b': ['B', 'C', 'B', 'B'],
                   'c': ['C', 'A', 'C', 'A'],
                   'd': ['B', 'D', 'B', 'A']},
                   index=[0, 1, 2, 3])

cioè:

+----+-----+-----+-----+-----+
|    | a   | b   | c   | d   |
|----+-----+-----+-----+-----|
|  0 | A   | B   | C   | B   |
|  1 | A   | C   | A   | D   |
|  2 | B   | B   | C   | B   |
|  3 | B   | B   | A   | A   |
+----+-----+-----+-----+-----+

(Stampato usando questo .)


Quello che ho provato

Ho provato a utilizzare il codice dalla risposta e sostituendo queste variabili:

document = [list(each) for each in df.values]
names = list(np.unique(df.values))

Ha dato risultati sbagliati:

  A B C D
A 4 6 3 2
B 6 10 5 0
C 3 5 0 1
D 2 0 1 0

Si basa su iterazioni, quindi spero in una soluzione migliore.


Uscita prevista

+----+-----+-----+-----+-----+
|    |   A |   B |   C |   D |
|----+-----+-----+-----+-----|
| A  | nan |   2 |   2 |   1 |
| B  |   2 | nan |   2 |   0 |
| C  |   2 |   2 | nan |   1 |
| D  |   1 |   0 |   1 | nan |
+----+-----+-----+-----+-----+

Ci sono 2righe in cui appare A& Bentrambi, quindi il valore nella Acolonna della riga della cella Bè 2. Ci sono 2righe in cui appare A& Centrambi, quindi il valore nella Acolonna della riga della cella Cè 2.


Domanda

Come posso ottenere facilmente questa matrice di cooccurence row-wise in Panda? Sarebbe fantastico se non dovessi scorrere i valori.


( panda, la categoria potrebbe essere utile, non sono ancora riuscito a farlo funzionare.)

Risposte

1 BENY Aug 26 2020 at 20:34

Possiamo fare stackallora get_dummiese dotpoi valorizzare

s=df.stack().str.get_dummies().sum(level=0).ne(0).astype(int)
s=s.T.dot(s).astype(float)
np.fill_diagonal(s.values, np.nan)
s
Out[33]: 
     A    B    C    D
A  NaN  2.0  2.0  1.0
B  2.0  NaN  2.0  0.0
C  2.0  2.0  NaN  1.0
D  1.0  0.0  1.0  NaN