Znajdź najwcześniejszą i najpóźniejszą datę w każdym wierszu w R [duplicate]

Dec 02 2020

Mam duży zestaw danych z ponad 400 kolumnami, które reprezentują określone elementy danych wejściowych użytkownika z platformy internetowej i czas, w którym nastąpiło każde wejście. Każdy wiersz reprezentuje identyfikator użytkownika.

200 z tych kolumn ma klasę „POSIXct” „POSIXt” (np. 2019-11-04 15:33:50) i mogą wystąpić brakujące wartości, ponieważ nie każdy element jest wyświetlany lub wypełniany przez każdego użytkownika.

Moim celem jest utworzenie dwóch dodatkowych kolumn zawierających najwcześniejszą i najpóźniejszą datę w każdym z tych 200 kolumn „POSIXct” „POSIXt”.

Tutaj uproszczony przykład ramy i jednej z pożądanych dodatkowych kolumn. (ID 4 to ktoś, kto nigdy nie zadał sobie trudu, aby otworzyć stronę, ale ma dane z innych źródeł danych i powinien na razie pozostać w zbiorze danych)

ID Other_columns    date_column          date_column2          date_column3             max_date (what I want)
1  "numeric"        2019-11-04 19:33:50  2019-11-05 15:33:50   2019-11-05 16:33:50      2019-11-05 16:33:50
2  "numeric"        NA                   2019-11-04 17:20:10   2019-11-09 19:12:50      2019-11-09 19:12:50
3  "numeric"        2019-11-07 20:33:50  NA                    2019-11-04 18:31:50      2019-11-07 20:33:50
4  NA               NA                   NA                    NA                       NA

Jak dotąd nie posunąłem się dalej, odfiltrowując inne kolumny nieaktualne

is.POSIXt <- function(x) inherits(x, "POSIXt")      
df%>%select(where(is.POSIXt))

Zamiast wyboru prawdopodobnie powinienem użyć mutate_at lub czegoś innego jako warunku, ale jaki jest najlepszy sposób na sprawdzenie wszystkich pozostałych 200 kolumn daty / czasu, a następnie przypisanie najwcześniejszej / najpóźniejszej daty do nowo utworzonych kolumn (ignorując wartości).

Odpowiedzi

2 akrun Dec 02 2020 at 01:11

Możemy użyć pmaxi pminw kolumnach „data”, aby zwrócić najwcześniejszą i najpóźniejszą datę dla każdego wiersza

library(dplyr)
 df %>%
     mutate(max_date = do.call(pmax, c(select(., starts_with('date')), na.rm = TRUE)),
            min_date = do.call(pmin, c(select(., starts_with('date')), 
         na.rm = TRUE)))
#  ID Other_columns         date_column        date_column2        date_column3            max_date            min_date
#1  1       numeric 2019-11-04 19:33:50 2019-11-05 15:33:50 2019-11-05 16:33:50 2019-11-05 16:33:50 2019-11-04 19:33:50
#2  2       numeric                <NA> 2019-11-04 17:20:10 2019-11-09 19:12:50 2019-11-09 19:12:50 2019-11-04 17:20:10
#3  3       numeric 2019-11-07 20:33:50                <NA> 2019-11-04 18:31:50 2019-11-07 20:33:50 2019-11-04 18:31:50
#4  4          <NA>                <NA>                <NA>                <NA>                <NA>                <NA>

Lub inna opcja rowwisezc_across

df %>% 
   rowwise() %>% 
   mutate(max_date =  max(as.POSIXct(c_across(starts_with('date'))), 
         na.rm = TRUE),
          min_date = min(as.POSIXct(c_across(starts_with('date'))), 
         na.rm = TRUE))

-wynik

# A tibble: 4 x 7
# Rowwise: 
#     ID Other_columns date_column         date_column2        date_column3        max_date            min_date           
#  <int> <chr>         <chr>               <chr>               <chr>               <dttm>              <dttm>             
#1     1 numeric       2019-11-04 19:33:50 2019-11-05 15:33:50 2019-11-05 16:33:50 2019-11-05 16:33:50 2019-11-04 19:33:50
#2     2 numeric       <NA>                2019-11-04 17:20:10 2019-11-09 19:12:50 2019-11-09 19:12:50 2019-11-04 17:20:10
#3     3 numeric       2019-11-07 20:33:50 <NA>                2019-11-04 18:31:50 2019-11-07 20:33:50 2019-11-04 18:31:50
#4     4 <NA>          <NA>                <NA>                <NA>                NA NA               NA NA        

dane

df <- structure(list(ID = 1:4, Other_columns = c("numeric", "numeric", 
"numeric", NA), date_column = c("2019-11-04 19:33:50", NA, "2019-11-07 20:33:50", 
NA), date_column2 = c("2019-11-05 15:33:50", "2019-11-04 17:20:10", 
NA, NA), date_column3 = c("2019-11-05 16:33:50", "2019-11-09 19:12:50", 
"2019-11-04 18:31:50", NA)), class = "data.frame", row.names = c(NA, 
-4L))



  
Neeraj Dec 02 2020 at 02:58

Oto inne podejście, którego możesz użyć bez użycia żadnego pakietu.

Najpierw pobierz dane dla kolumn dat i na tej podstawie możesz użyć applyfunkcji w każdym wierszu, aby uzyskać odpowiednio maksymalną i minimalną wartość. Oto przykład:

df_date = df[, sapply(df, FUN = function(x) class(x)[1]) %in% c("POSIXct", "POSIXt")]
df$max = apply(df_date, 2, FUN = function(x) max(x, na.rm = TRUE) df$min = apply(df_date, 2, FUN = function(x) min(x, na.rm = TRUE)

Dane

structure(list(ID = 1:4, Other_columns = c("numeric", "numeric", 
"numeric", NA), date_column = structure(c(1572876230, NA, 1573139030, 
NA), class = c("POSIXct", "POSIXt"), tzone = ""), date_column2 = structure(c(1572948230, 
1572868210, NA, NA), class = c("POSIXct", "POSIXt"), tzone = ""), 
    date_column3 = structure(c(1572951830, 1573306970, 1572872510, 
    NA), class = c("POSIXct", "POSIXt"), tzone = "")), class = "data.frame", row.names = c(NA, 
-4L))