É possível piorar o modelo após a otimização?

Sep 21 2020

Estou tentando otimizar modelos recentemente, mas por algum motivo, sempre que tento executar a otimização, a pontuação do modelo no final é pior do que antes, então acredito que fiz algo errado.

para otimizar meu modelo, defino a grade de parâmetros e, em seguida, ajusto os dados do trem e, em seguida, de acordo com os resultados, corro novamente com os parâmetros nre, por exemplo,

#ROUND 1
param_grid={
    'max_depth': [3,4,5],
    'learning_rate':[0.1,0.01,0.05],
    'gamma': [0,0.25,1.0],
    'reg_lambda':[0,1.0,10.0],
    'scale_pos_weight':[1,3,5]
}

grid_search = GridSearchCV(estimator = clf_xgb, param_grid = param_grid, 
                          cv = 3, n_jobs = -1, verbose = 2)
grid_search.fit(X_train,y_train)
grid_search.best_params_

>>>.....

(e agora com base no resultado alterando os parâmetros ...)

após esta etapa, escolho os melhores hiperparâmetros e executo o modelo;

clf_xgb=xgb.XGBClassifier(seed=42,
                         objective='binary:logistic',
                         gamma=0,
                         learn_rate=0.7,
                         max_depth=6,
                         reg_lambda=0.8,
                         scale_pos_weight=1,
                         subsample=0.9,
                         cilsample_bytree=0.5)

clf_xgb.fit(X_train,
           y_train,
           verbose=True,
           early_stopping_rounds=10,
           eval_metric='aucpr',
           eval_set=[(X_test,y_test)])

O problema é que quando eu verifico a pontuação do modelo

clf_xgb.score(X_test,y_test)

Sempre obtenho pontuação mais baixa do que obtive antes da otimização, o que me faz suspeitar que estou faltando alguma coisa na forma de fazê-lo / princípio básico neste processo.

É possível que, após executar a otimização, minha pontuação não melhore (e ainda pior?)? Onde está meu erro? Existem outros parâmetros que podem influenciar ou melhorar meu modelo?

Respostas

4 aivanov Sep 29 2020 at 04:34

É possível que, após executar a otimização, minha pontuação não melhore (e ainda pior?)?

Sim, teoricamente, por pura sorte, é possível que seu palpite inicial, antes da otimização dos hiperparâmetros, forneça melhores resultados do que a melhor combinação de parâmetros encontrada na grade de parâmetros. No entanto, supondo que você tenha dados suficientes e sua grade de parâmetros seja ampla o suficiente, é bastante improvável que o ajuste de hiperparâmetros não seja capaz de encontrar melhores resultados. Em vez disso, esse comportamento indica que algo está errado com sua abordagem ou seus dados.

Se entendido corretamente, a escolha dos melhores parâmetros é baseada nos resultados do cv nos dados de treinamento, enquanto na sua execução final o desempenho é avaliado com base no conjunto de dados de teste. Se a distribuição dos dados de treinamento e teste diferir significativamente, isso pode levar à situação em que os parâmetros que fornecem os melhores resultados nos dados de treinamento apresentam desempenho insatisfatório nos dados de teste.

Onde está meu erro?

Como já foi mencionado por outros, os parâmetros que você está testando após o ajuste não foram incluídos na grade de parâmetros. Nesse caso, é incorreto falar sobre o desempenho do modelo "após executar a otimização".

Eu sugiro o seguinte para investigar e corrigir o problema

  • Em vez de utilizar os parâmetros codificados na XGBClassifier chamada, usar os parâmetros óptimos encontrados pelo processo de afinação, isto é grid_search.best_params_. Além disso, se você acha que subsamplee cilsample_bytree(um erro de digitação?) São parâmetros relevantes, inclua-os na grade de parâmetros.
  • Aumente o cvparâmetro para, por exemplo, 5-10, os resultados com cv = 3podem ser muito instáveis. Você pode avaliar a estabilidade de seus resultados atuais usando diferentes sementes aleatórias e repetindo todo o exercício.
  • Certifique-se de usar os parâmetros consistentes no processo de ajuste e na avaliação final ou apenas inclua esses parâmetros na grade de parâmetros, se possível. Em particular, verifique early_stopping_roundse eval_metric.

Existem outros parâmetros que podem influenciar ou melhorar meu modelo?

  • Com base no seu código, não está claro quantas rodadas você usa. Aumente n_estimatorsou inclua na grade de parâmetros.
  • Dado que você usa AUCPR, pode ser necessário definir explicitamente o parâmetro maximize=True, caso contrário, em sua execução final, você poderia minimizar o AUCPR, o que poderia explicar resultados ruins.
N.Kiefer Sep 24 2020 at 17:24

Esta pergunta está um pouco errada. Você não pode piorar após a otimização, caso contrário, não seria otimização! (Na pior das hipóteses, você está com o mesmo desempenho de antes, obtendo exatamente os mesmos parâmetros que já tinha)

Como Grzegorz aponta em um comentário, em primeiro lugar, sua lista de parâmetros não está completa e não contém os valores que você usará posteriormente. Por exemplo, a taxa de aprendizagem, mas também max_depth. Em segundo lugar, uma pesquisa em grade onde você realmente não sabe onde olhar deve conter uma variação muito maior para os parâmetros. Você verifica [0.1, 0.01, 0.05]a taxa de aprendizagem, mas verifica [0.0001, 0.001, 1.]? A taxa de aprendizagem pode ser um mau exemplo aqui, mas espero que ele transmita o ponto, você pode querer verificar a magnitude / escala primeiro, por exemplo, potências de dez, antes de verificar as pequenas variações.

Dependendo do seu conjunto de dados, a diferença entre execuções com os mesmos valores também pode vir de diferentes sementes! Verifique se você sempre define a mesma semente ou tenta o suficiente vezes com diferentes sementes para obter uma resposta comparável (por exemplo, com KFold).

O seu modelo está convergindo para todos os treinamentos? Onde você tem certeza de treinar por tempo suficiente? Você pode representar graficamente a perda do treinamento e da amostra de teste e verificar se está convergindo ou não. Isso pode ser controlado com n_estimatorsxgboost, eu acredito.

BrianSpiering Sep 24 2020 at 22:08

Não há nada de errado em seu código ou processo. Muitas vezes, o desempenho do aprendizado de máquina no conjunto de dados de teste é inferior ao desempenho no conjunto de dados de treinamento. Seu modelo não está generalizando perfeitamente para os dados que não viu antes (ou seja, o conjunto de dados de teste).