Итерируйте по столбцам, чтобы суммировать предыдущие 2 числа каждой строки

Question

В R у меня есть фрейм данных со столбцами «A», «B», «C», «D». В столбцах 100 строк.

Мне нужно выполнить итерацию по столбцам, чтобы выполнить расчет для всех строк в фрейме данных, который суммирует предыдущие 2 строки этого столбца, а затем установить в новых столбцах ('AA', 'AB' и т.д.), что это за сумма:

A  B  C  D 
1  2  3  4
2  3  4  5
3  4  5  6
4  5  6  7 
5  6  7  8
6  7  8  9

к

A   B   C   D   AA   AB   AC   AD
1   2   3   4   NA   NA   NA   NA
2   3   4   5   3    5    7    9
3   4   5   6   5    7    9    11
4   5   6   7   7    9    11   13
5   6   7   8   9    11   13   15
6   7   8   9   11   13   15   17

Может ли кто-нибудь объяснить, как создать функцию / цикл, который позволяет мне устанавливать столбцы, которые я хочу перебирать (выбранные столбцы, а не все столбцы), и столбцы, которые я хочу установить?

Answer 1

baseОдин вкладыш:

cbind(df, setNames(df + df[c(NA, 1:(nrow(df)-1)), ], paste0("A", names(df))))

Если у вас большие данные, этот может быть самым быстрым, потому что он управляет всем data.frame.

---

dplyrРешение , использующее mutate()с across().

library(dplyr)

df %>%
  mutate(across(A:D,
                ~ .x + lag(.x),
                .names = "A{col}"))

#   A B C D AA AB AC AD
# 1 1 2 3 4 NA NA NA NA
# 2 2 3 4 5  3  5  7  9
# 3 3 4 5 6  5  7  9 11
# 4 4 5 6 7  7  9 11 13
# 5 5 6 7 8  9 11 13 15
# 6 6 7 8 9 11 13 15 17

Если вы хотите суммировать предыдущие 3 строки, второй аргумент across(), т.е. .fnsдолжен быть

~ .x + lag(.x) + lag(.x, 2)

что эквивалентно использованию rollsum()in zoo:

~ zoo::rollsum(.x, k = 3, fill = NA, align = 'right')

---

Контрольный показатель

Тест производительности с microbenchmarkпакетом на новом, data.frame10000 строк и 100 столбцов и оценка каждого выражения 10 раз.

# Unit: milliseconds
#                     expr        min         lq       mean     median         uq        max neval
#              darren_base   18.58418   20.88498   35.51341   33.64953   39.31909   80.24725    10
#         darren_dplyr_lag   39.49278   40.27038   47.26449   42.89170   43.20267   76.72435    10
# arg0naut91_dplyr_rollsum  436.22503  482.03199  524.54800  516.81706  534.94317  677.64242    10
#    Grothendieck_rollsumr 3423.92097 3611.01573 3650.16656 3622.50895 3689.26404 4060.98054    10

Answer 2

Вы можете использовать dplyr's across(и устанавливать необязательные имена) с плавающей суммой (как реализовано, например, в zoo):

library(dplyr)
library(zoo)

df %>%
  mutate(
    across(
      A:D,
      ~ rollsum(., k = 2, fill = NA, align = 'right'), 
      .names = 'A{col}'
    )
  )

Выход:

  A B C D AA AB AC AD
1 1 2 3 4 NA NA NA NA
2 2 3 4 5  3  5  7  9
3 3 4 5 6  5  7  9 11
4 4 5 6 7  7  9 11 13
5 5 6 7 8  9 11 13 15
6 6 7 8 9 11 13 15 17

С A:Dмы определили диапазон имен столбцов мы хотим применить функцию. Предположение, приведенное выше в .namesаргументе, заключается в том, что вы хотите вставить вместе Aпрефикс и имя столбца ( {col}).

Answer 3

Вот решение data.table. По вашему запросу он позволяет вам выбрать, к каким столбцам вы хотите применить его, а не только ко всем столбцам.

library(data.table)
x <- data.table(A=1:6, B=2:7, C=3:8, D=4:9)
selected_cols <- c('A','B','D')
new_cols <- paste0("A",selected_cols)
x[, (new_cols) := lapply(.SD, function(col) col+shift(col, 1)), .SDcols = selected_cols]
x[]

NB. Это в 2 или 3 раза быстрее, чем самый быстрый другой ответ.

Answer 4

Это наивный подход с вложенными forциклами. Остерегайтесь, это чертовски медленно, если вы собираетесь перебирать сотни тысяч строк.

i <- 1
n <- 5
df <- data.frame(A=i:(i+n), B=(i+1):(i+n+1), C=(i+2):(i+n+2), D=(i+3):(i+n+3))
for (col in colnames(df)) {
  for (ind in 1:nrow(df)) {
    if (ind-1==0) {next}
    s <- sum(df[c(ind-1, ind), col])
    df[ind, paste0('S', col)] <- s
  }
}  

Это cumsum метод:

na.df <- data.frame(matrix(NA, 2, ncol(df)))
colnames(na.df) <- colnames(df)
cs1 <- cumsum(df)
cs2 <- rbind(cs1[-1:-2,], na.df)
sum.diff <- cs2-cs1
cbind(df, rbind(na.df[1,], cs1[2,], sum.diff[1:(nrow(sum.diff)-2),]))  

Контрольный показатель:

#    Unit: milliseconds  
#                      expr     min       lq     mean   median       uq     max neval  
#          darrentsai.rbind 11.5623 12.28025 23.38038 16.78240 20.83420 91.9135   100  
#     darrentsai.rbind.rev1  8.8267  9.10945 15.63652  9.54215 14.25090 62.6949   100  
#             pseudopsin.dt  7.2696  7.52080 20.26473 12.61465 17.61465 69.0110   100  
#            ivan866.cumsum 25.3706 30.98860 43.11623 33.78775 37.36950 91.6032   100  

Я считаю, что большую часть времени метод cumsum тратит впустую на распределение df. При правильной адаптации к бэкэнду data.table он мог бы быть самым быстрым.

Answer 5

Указываем нужные столбцы. Мы покажем несколько разных способов сделать это. Затем используйте, rollsumrчтобы получить желаемые столбцы, установите имена столбцов и cbindDF с ними.

library(zoo)

# jx <- names(DF)  # if all columns wanted
# jx <- sapply(DF, is.numeric)  # if all numeric columns
# jx <- c("A", "B", "C", "D")  # specify columns by name
jx <- 1:4   # specify columns by position

r <- rollsumr(DF[jx], 2, fill = NA)
colnames(r) <- paste0("A", colnames(r))
cbind(DF, r)

давая:

  A B C D AA AB AC AD
1 1 2 3 4 NA NA NA NA
2 2 3 4 5  3  5  7  9
3 3 4 5 6  5  7  9 11
4 4 5 6 7  7  9 11 13
5 5 6 7 8  9 11 13 15
6 6 7 8 9 11 13 15 17

Примечание

Вход в воспроизводимой форме:

DF <- structure(list(A = 1:6, B = 2:7, C = 3:8, D = 4:9), 
  class = "data.frame", row.names = c(NA, -6L))