Quando a validação cruzada é necessária para estimar um parâmetro?
Em 2013, @Donbeo perguntou se havia algum resultado teórico que apoiasse o uso da validação cruzada para escolher a penalidade de laço e foi repreendido nos comentários por fazer " uma pergunta bastante genérica sobre erro de generalização e minimização de risco empírico " Bem, acho que foi uma boa pergunta.
(Foto do artigo de Zou referenciada por @Edgar em sua resposta)
Eu sei que não funcionaria bem tentar estimar $\lambda$em uma configuração de probabilidade máxima frequentista. Se eu tivesse que propor o porquê, diria que há problemas com a identificabilidade. Mas se isso for verdade, então deve haver alguma propriedade mágica de Validação Cruzada (ou Minimização de Risco Empírico em geral) que permite estimá-la sem fazer quaisquer outras suposições. Eu apreciaria qualquer opinião sobre isso.
Acima de tudo, gostaria de uma explicação sobre a quais tipos de parâmetros em geral a validação cruzada é mais adequada do que a inferência tradicional, e alguma justificativa para o porquê.
PS Esta postagem é uma leitura interessante sobre CV no que se refere a bayes empíricos, mas foca mais na capacidade de CV de neutralizar a especificação incorreta do modelo.
Respostas
Geralmente não consideramos $\lambda$como um parâmetro no modelo que você deseja estimar. Não tem uma interpretação fora do modelo, em termos de seus dados reais. Em vez disso, consideramos$\lambda$como um parâmetro de ajuste ou um hiperparâmetro . Esta terminologia significa que$\lambda$ afeta como você estima $\beta$, mas você não está interessado em $\lambda$em si. Cada valor de$\lambda$ produz uma estimativa única de $\beta$, que denotarei com $\hat{\beta}_\lambda$.
Portanto, a equação dos mínimos quadrados penalizada que você postou descreve um grande conjunto de estimativas possíveis de $\beta$. Você tem que escolher a "melhor" estimativa,$\hat{\beta}_\lambda$de acordo com alguns critérios (melhor previsão, melhor ajuste do modelo, etc.). É quando você faz validação cruzada para ajustar$\hat{\beta}_\lambda$ em parte do seu conjunto de dados e verifique alguns critérios na parte restante.