PSO. Hyperparameteroptimierung für ähnliche Probleme

Question

Ich mache ein Projekt, in dem ich die Partikelschwarmoptimierung (PSO) für ein Designoptimierungsproblem verwende. Dort musste ich natürlich eine Hyperparameteroptimierung durchführen, um die optimalsten Werte der Hyperparameter zu finden. Mir wurde von jemandem die Frage gestellt, ob derselbe Satz optimaler Hyperparameter noch funktionieren kann, wenn ich die Systemgröße erhöhe (dh die Suchdimensionalität erhöhe) oder eine neue Suche nach optimalen Hyperparametern durchführen muss.

Meine Antwort war, im Idealfall ja, wir würden eine separate Hyperparameteroptimierung durchführen wollen, da das Problem die Zielfunktionslandschaft verändert. Ich freue mich auf Ihre Antworten. Bin ich richtig, wenn ich das sage? Wenn nicht, was könnte dann eine bessere Antwort sein?

Answer 1

Im Allgemeinen haben Sie Recht, aber das Ausmaß, in dem Sie sich befinden, hängt stark von Ihrer Zielfunktion ab (und von einer Reihe von Einschränkungen, falls vorhanden).

Wie Sie sagen, wenn sich das Problem ändert, ändert sich die Landschaft, und Sie benötigen einen anderen Satz von Hyperparametern. Kleine Änderungen oder Änderungen, die auf bestimmte Funktionen beschränkt sind, können jedoch die Landschaft so verändern, dass keine andere Algorithmuskonfiguration erforderlich ist. Das Starten der neuen Abstimmung von der ursprünglichen guten Konfiguration kann hilfreich sein.

Was Sie tun können, ist, für einige Fälle die beste Konfiguration zu finden und zu beobachten, welche Hyperparameter sich (und wie) in Bezug auf die Merkmale des Problems ändern, das Sie ändern, und welche nicht. Dies kann Ihnen zumindest ein besseres Verständnis der Landschaften geben, die Ihr Problem verursacht haben. Beispielsweise können Sie bestimmte Hyperparameter als Funktion der Dimensionalität oder einiger Landschaftsstatistiken neu definieren.

Ob sich die Mühe lohnt, hängt davon ab, wie oft Sie Ihr Design unter verschiedenen Bedingungen ausführen müssen.