PSO. Ottimizzazione iperparametrica per problemi simili

Question

Sto facendo un progetto in cui sto utilizzando Particle Swarm Optimization (PSO) per un problema di ottimizzazione del design. Naturalmente, lì ho dovuto condurre l'ottimizzazione degli iperparametri per trovare i valori ottimali degli iperparametri. Mi è stata posta una domanda da qualcuno che diceva se lo stesso insieme di iperparametri ottimali può ancora funzionare se aumento la dimensione del sistema (cioè aumento la dimensionalità della ricerca) o se devo fare una nuova ricerca di iperparametri ottimali.

La mia risposta è stata, idealmente sì, vorremmo fare un'ottimizzazione separata degli iperparametri poiché il problema cambia il panorama della funzione obiettivo. Sto aspettando le tue risposte. Ho ragione nel dire questo? In caso contrario, quale potrebbe essere una risposta migliore?

Answer 1

In generale hai ragione, ma la misura in cui sei dipende fortemente dalla tua funzione obiettivo (e dalla serie di vincoli, se ne hai).

Come dici tu, quando il problema cambia, il panorama cambia e avrai bisogno di un diverso set di iperparametri. Tuttavia, piccole modifiche o modifiche limitate a determinate funzionalità possono alterare il panorama in un modo che non richiede una diversa configurazione dell'algoritmo. Può essere utile avviare la nuova messa a punto dalla buona configurazione originale.

Quello che puoi fare è trovare la configurazione migliore per alcuni casi e osservare quali iperparametri cambiano (e come) in relazione alle caratteristiche del problema che stai modificando e quali no. Questo potrebbe almeno darti una migliore comprensione dei paesaggi che hanno generato il tuo problema. Ad esempio, potresti finire per ridefinire alcuni iperparametri in funzione della dimensionalità o di alcune statistiche del paesaggio.

Se ne vale la pena, dipende da quante volte dovrai eseguire il tuo progetto in condizioni diverse.