tidymodels - erro em fit_resamples usando step_ns ()

Sep 02 2020

Estou tentando escrever uma função que ajusta amostras de uma receita que usa step_ns (). Por algum motivo, estou recebendo as mensagens de erro:

Fold01: recipe: Error: Not all variables in the recipe are present in the supplied training set

e assim por diante para todas as dobras. E depois

Mensagem de aviso: All models failed in [fit_resamples()]. See the .notes column.

Este é o meu código:

compare_basis_exp_to_base_mod <- function (data, outcome, metric, ...) {

  outcome <- rlang::enquo(outcome)
  metric <- rlang::enquo(metric)
  
  pred_list <- colnames(data)
  
  outcome_str <- substring(deparse(substitute(outcome)), 2)
  outcome_str_id <- which(colnames(data) %in% outcome_str)
  
  predictor <- pred_list[-outcome_str_id]
  
  data <- data %>% 
    rename(prediction = !!outcome)

  res <- tibble(splits = list(), id = character(), .metrics = list(), 
                .notes = list(), .predictions = list(), pred = character())
  
  rec_without_splines <- recipe(prediction ~ ., data = data) %>%
    prep()
  
  rec_with_splines <- recipe(prediction ~ ., data = data) %>%
    step_ns(all_predictors(), ...) %>% 
    prep()
  
  folds_without_splines <- vfold_cv(juice(rec_without_splines), strata = prediction)
  
  folds_with_splines <- vfold_cv(juice(rec_with_splines), strata = prediction)
  

  mod <- linear_reg() %>% 
    set_engine("lm")

  mod_without_splines <- fit_resamples(mod,
                                       rec_without_splines,
                                       folds_without_splines,
                                       metrics = metric_set(!!metric),
                                       control = control_resamples(save_pred = TRUE)) %>%
    mutate(pred = "no_splines")
  
  mod_with_splines <- fit_resamples(mod,
                                    rec_with_splines,
                                    folds_with_splines,
                                    metrics = metric_set(!!metric),
                                    control = control_resamples(save_pred = TRUE)) %>%
    mutate(pred = "with_splines")

  res <- mod_without_splines %>%
    bind_rows(mod_with_splines)
  
  return (res)
}

Basicamente, o argumento dataleva em uma tabela de duas colunas e outcomeé o nome da coluna de resultado. Além do uso desta função (estou apenas brincando com modelos de limpeza aqui, pois sou novo nisso), eu só quero entender o que está causando esse erro e como corrigi-lo. O erro vem na hora de avaliar mod_with_splines.

Um problema semelhante foi encontrado aqui . Mas não sei se tem a ver com o meu problema. Não posso deixar de preparar a receita antes de passá-la fit_resamples. (Ou então eu acho)

Qualquer ajuda seria apreciada. Obrigado.

Respostas

2 EmilHvitfeldt Sep 03 2020 at 12:37

Seu problema vem ao tentar aplicar uma receita em um conjunto de dados que já foi executado com a mesma receita.

Se assumirmos que as variáveis ​​preditoras foram X1e X2, então rec_with_splinesé esperado que essas variáveis. Mas desde que folds_with_splinescontém os resultados juiced de rec_with_splinesseguida, folds_with_splinesna verdade, contém X1_ns_1, X1_ns_2, X2_ns_1, e X2_ns_2. Não X1e X2.

Eu sugeriria o uso de fluxos de trabalho para combinar a etapa de pré-processamento e modelagem. E para passar os dados brutos para vfold_cv().

library(tidymodels)
compare_basis_exp_to_base_mod <- function (data, outcome, metric, ...) {

  outcome <- rlang::enquo(outcome)
  metric <- rlang::enquo(metric)
  
  pred_list <- colnames(data)
  
  outcome_str <- substring(deparse(substitute(outcome)), 2)
  outcome_str_id <- which(colnames(data) %in% outcome_str)
  
  predictor <- pred_list[-outcome_str_id]
  
  data <- data %>% 
    rename(prediction = !!outcome)
  
  rec_without_splines <- recipe(prediction ~ ., data = data) %>%
    prep()
  
  rec_with_splines <- recipe(prediction ~ ., data = data) %>%
    step_ns(all_predictors(), ...)
  
  mod <- linear_reg() %>% 
    set_engine("lm")
 
  wf_without_splines <- workflow() %>%
    add_recipe(rec_without_splines) %>%
    add_model(mod)
  
  wf_with_splines <- workflow() %>%
    add_recipe(rec_with_splines) %>%
    add_model(mod)
  
  data_folds <- vfold_cv(data, strata = prediction)

  mod_without_splines <- fit_resamples(wf_without_splines,
                                       data_folds,
                                       metrics = metric_set(!!metric),
                                       control = control_resamples(save_pred = TRUE)) %>%
    mutate(pred = "no_splines")
  
  mod_with_splines <- fit_resamples(wf_with_splines,
                                    data_folds,
                                    metrics = metric_set(!!metric),
                                    control = control_resamples(save_pred = TRUE)) %>%
    mutate(pred = "with_splines")

  res <- mod_without_splines %>%
    bind_rows(mod_with_splines)
  
  return (res)
}

res <- compare_basis_exp_to_base_mod(mtcars, mpg, rmse)