PSO. Optimisation des hyperparamètres pour des problèmes similaires
Je fais un projet dans lequel j'utilise l'optimisation des essaims de particules (PSO) pour un problème d'optimisation de la conception. Naturellement, là-dedans, j'ai dû effectuer une optimisation des hyperparamètres pour trouver les valeurs les plus optimales des hyperparamètres. Quelqu'un m'a posé la question de savoir si le même ensemble d'hyperparamètres optimaux peut toujours fonctionner si j'augmente la taille du système (c'est-à-dire augmenter la dimensionnalité de la recherche) ou dois-je faire une nouvelle recherche d'hyperparamètres optimale.
Ma réponse a été, idéalement oui, nous voudrions faire une optimisation d'hyperparamètres séparée car le problème modifie le paysage des fonctions objectives. J'attends vos réponses avec impatience. Ai-je raison de dire cela? Sinon, quelle meilleure réponse pourrait-il y avoir?
Réponses
En général, vous avez raison, mais la mesure dans laquelle vous êtes dépend fortement de votre fonction objectif (et de l'ensemble de contraintes, le cas échéant).
Comme vous le dites, lorsque le problème change, le paysage change et vous aurez besoin d'un autre ensemble d'hyperparamètres. Cependant, de petits changements, ou des changements limités à certaines fonctionnalités, peuvent modifier le paysage d'une manière qui ne nécessite pas une configuration d'algorithme différente. Commencer le nouveau réglage à partir de la bonne configuration d'origine peut aider.
Ce que vous pouvez faire est de trouver la meilleure configuration pour certains cas et d'observer quels hyperparamètres changent (et comment) par rapport aux caractéristiques du problème que vous modifiez, et lesquels ne le font pas. Cela peut au moins vous donner une meilleure compréhension des paysages générés par votre problème. Par exemple, vous pouvez finir par redéfinir certains hyperparamètres en fonction de la dimensionnalité, ou de certaines statistiques de paysage.
Si cela en vaut la peine, cela dépend du nombre de fois que vous devrez exécuter votre conception dans différentes conditions.