Doppelte Spalten in Julia Dataframes

Question

In Python Pandas und R können doppelte Spalten leicht entfernt werden. Laden Sie einfach die Daten, weisen Sie die Spaltennamen zu und wählen Sie diejenigen aus, die nicht doppelt vorhanden sind.

Was sind die besten Methoden, um mit solchen Daten mit Julia Dataframes umzugehen? Das Zuweisen doppelter Spaltennamen ist hier nicht zulässig. Ich verstehe, dass der einzige Weg darin besteht, eingehende Daten stärker zu massieren und solche Daten zu entfernen, bevor ein Datenrahmen erstellt wird.

Die Sache ist, dass es fast immer einfacher ist, mit doppelten Spalten im bereits erstellten Datenrahmen umzugehen, als mit eingehenden Daten.

UPD: Ich meinte die doppelten Spaltennamen. Ich erstelle einen Datenrahmen aus Rohdaten, in dem Spaltennamen (und damit Daten) wiederholt werden können.

UPD2: Python-Beispiel hinzugefügt.

>>> import numpy as np
>>> import pandas as pd
>>> df = pd.DataFrame(np.hstack([np.zeros((4,1)), np.ones((4,2))]), columns=["a", "b", "b"])
>>> df
     a    b    b
0  0.0  1.0  1.0
1  0.0  1.0  1.0
2  0.0  1.0  1.0
3  0.0  1.0  1.0
>>> df.loc[:, ~df.columns.duplicated()]
     a    b
0  0.0  1.0
1  0.0  1.0
2  0.0  1.0
3  0.0  1.0

Ich baue meinen Julia-Datenrahmen aus einer Float32-Matrix und weise dann Spaltennamen aus einem Vektor zu. Hier muss ich Spalten entfernen, die doppelte Namen haben (bereits im Datenrahmen vorhanden). Das ist die Natur der zugrunde liegenden Daten, manchmal hat es Dups, manchmal nicht, ich habe keine Kontrolle über ihre Erstellung.

Answer 1

Ist dies etwas, wonach Sie suchen (ich war mir aus Ihrer Beschreibung nicht 100% sicher - wenn dies nicht das ist, was Sie wollen, aktualisieren Sie die Frage bitte mit einem Beispiel):

julia> df = DataFrame([zeros(4,3) ones(4,5)])
4×8 DataFrame
│ Row │ x1      │ x2      │ x3      │ x4      │ x5      │ x6      │ x7      │ x8      │
│     │ Float64 │ Float64 │ Float64 │ Float64 │ Float64 │ Float64 │ Float64 │ Float64 │
├─────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┼─────────┤
│ 1   │ 0.0     │ 0.0     │ 0.0     │ 1.0     │ 1.0     │ 1.0     │ 1.0     │ 1.0     │
│ 2   │ 0.0     │ 0.0     │ 0.0     │ 1.0     │ 1.0     │ 1.0     │ 1.0     │ 1.0     │
│ 3   │ 0.0     │ 0.0     │ 0.0     │ 1.0     │ 1.0     │ 1.0     │ 1.0     │ 1.0     │
│ 4   │ 0.0     │ 0.0     │ 0.0     │ 1.0     │ 1.0     │ 1.0     │ 1.0     │ 1.0     │

julia> DataFrame(unique(last, pairs(eachcol(df))))
4×2 DataFrame
│ Row │ x1      │ x4      │
│     │ Float64 │ Float64 │
├─────┼─────────┼─────────┤
│ 1   │ 0.0     │ 1.0     │
│ 2   │ 0.0     │ 1.0     │
│ 3   │ 0.0     │ 1.0     │
│ 4   │ 0.0     │ 1.0     │

BEARBEITEN

Verwenden Sie zum Deduplizieren von Spaltennamen das makeuniqueSchlüsselwortargument:

julia> DataFrame(rand(3,4), [:x, :x, :x, :x], makeunique=true)
3×4 DataFrame
│ Row │ x         │ x_1      │ x_2      │ x_3       │
│     │ Float64   │ Float64  │ Float64  │ Float64   │
├─────┼───────────┼──────────┼──────────┼───────────┤
│ 1   │ 0.410494  │ 0.775563 │ 0.819916 │ 0.0520466 │
│ 2   │ 0.0503997 │ 0.427499 │ 0.262234 │ 0.965793  │
│ 3   │ 0.838595  │ 0.996305 │ 0.833607 │ 0.953539  │

BEARBEITEN 2

Sie scheinen also beim Erstellen eines Datenrahmens Zugriff auf Spaltennamen zu haben. In diesem Fall würde ich tun:

julia> mat = [ones(3,1) zeros(3,2)]
3×3 Array{Float64,2}:
 1.0  0.0  0.0
 1.0  0.0  0.0
 1.0  0.0  0.0

julia> cols = ["a", "b", "b"]
3-element Array{String,1}:
 "a"
 "b"
 "b"

julia> df = DataFrame(mat, cols, makeunique=true)
3×3 DataFrame
│ Row │ a       │ b       │ b_1     │
│     │ Float64 │ Float64 │ Float64 │
├─────┼─────────┼─────────┼─────────┤
│ 1   │ 1.0     │ 0.0     │ 0.0     │
│ 2   │ 1.0     │ 0.0     │ 0.0     │
│ 3   │ 1.0     │ 0.0     │ 0.0     │

julia> select!(df, unique(cols))
3×2 DataFrame
│ Row │ a       │ b       │
│     │ Float64 │ Float64 │
├─────┼─────────┼─────────┤
│ 1   │ 1.0     │ 0.0     │
│ 2   │ 1.0     │ 0.0     │
│ 3   │ 1.0     │ 0.0     │