LOOCV vs. CV k-fold leva aos mesmos resultados

Question

Eu construo um modelo de regressão linear e o uso para prever fora da amostra. Nesse contexto, uso LOOCV e k-fold CV (5). No entanto, os dois métodos parecem levar aos mesmos resultados. A única diferença pequena entre esses dois métodos são valores ligeiramente diferentes para as medidas de precisão para as estimativas dentro da amostra (veja os resultados abaixo).

O que está acontecendo aqui; estou perdendo um ponto?

library(mlbench)
library(caret)
data(BostonHousing)
df <- BostonHousing

######
set.seed(12345)
train.index <- createDataPartition(df$medv, p = 0.75, list = FALSE)
train <- df[train.index, ]
test <- df[-train.index, ]

#####
fitControl <- trainControl(method = "LOOCV")

mod1 <- train(medv ~ crim + zn + rm,
              data = train,
              method = "lm",
              trControl = fitControl)

preds1 <- predict(mod1, newdata = test)

#####
fitControl2 <- trainControl(method = "repeatedcv", number = 5, repeats = 10)

mod2 <- train(medv ~ crim + zn + rm,
              data = train,
              method = "lm",
              trControl = fitControl2)

preds2 <- predict(mod2, newdata = test)

Os resultados são os seguintes:

Coeficientes:

coef(summary(mod1)) 
coef(summary(mod2))

             LOOCV         k-fold
(Intercept) -28.74077696  -28.74077696
crim         -0.23736504   -0.23736504
zn            0.04259996    0.04259996
rm            8.21720224    8.21720224

Ajuste na amostra:

mod1$results mod2$results

              LOOCV         k-fold
RMSE          6.16378       6.083234
Rsquared      0.5437839     0.5727744
MAE           4.176978      4.174368

Ajuste fora da amostra:

postResample(preds1, obs = test$medv) postResample(preds2, obs = test$medv)

              LOOCV         k-fold
RMSE          4.1298679     4.1298679
Rsquared      0.5489697     0.5489697
MAE           4.1298679     4.1298679

Answer 1

Em primeiro lugar, os modelos finais ( mod1$finalModele mod1$finalModel) são os mesmos, no seu caso particular por duas razões:

1. Você não ajusta, você treina um único modelo que é o modelo linear intercept = TRUE).

   A linha reveladora é a saída de print(mod2):

   O parâmetro de ajuste 'interceptar' foi mantido constante em um valor TRUE

   Você também pode olhar para mod2$results:

     intercept     RMSE  Rsquared      MAE    RMSESD RsquaredSD     MAESD  
   1      TRUE 6.121066 0.5568386 4.187102 0.9087823  0.1089092 0.4691107
   

   Compare isso com:

   mod3 <- train(medv ~ crim + zn + rm,
              data = train,
              method = "lm",
              tuneGrid = data.frame (intercept = c(FALSE, TRUE)),
              trControl = fitControl)
   mod3
   # [...snip...]
   # Resampling results across tuning parameters:
   # 
   #   intercept  RMSE      Rsquared   MAE     
   #   FALSE      6.818821  0.4592127  4.844369
   #    TRUE      6.163780  0.5437839  4.176978
   # 
   # RMSE was used to select the optimal model using the smallest value.
   # The final value used for the model was intercept = TRUE.
   
   mod3$results
   #   intercept     RMSE  Rsquared      MAE
   # 1     FALSE 6.818821 0.4592127 4.844369
   # 2      TRUE 6.163780 0.5437839 4.176978
   

2. A validação cruzada interna durante o ajuste resulta em um conjunto de hiperparâmetros, mas ainda não no modelo final. O modelo final é obtido treinando com este conjunto de hiperparâmetros e todos os dados que foram entregues train().

   Independentemente da rotina de validação cruzada / bootstrap escolhida, contanto que o conjunto de hiperparâmetros ajustados seja o mesmo, o modelo final também será o mesmo (pelo menos para rotinas de treinamento determinísticas, como lm()).

   Então, mesmo se você tivesse ajustado, ainda resultaria o mesmo modelo: aquele com intercept = TRUE.