Bedeutung von Optimierungstechniken

Auf meiner Reise zum Erlernen von maschinellen Lern- und Deep-Learning-Techniken, die noch andauert, habe ich die Bedeutung von Optimierungstechniken verstanden. Ich habe einfach das Gefühl, dass es sehr wichtig ist, dies zu Referenzzwecken zu dokumentieren, sodass ich es regelmäßig im Gedächtnis behalten kann, wann immer ich es sehe. Es geht nicht nur darum, das Modell zu trainieren oder ein Ergebnis zu erhalten, nachdem Sie den Datensatz an das Modell übergeben haben. Es geht um die Untersuchung und das Verständnis der Optimierungsnuancen, die im Hintergrund des Modells ablaufen, um das beste Ergebnis zu erzielen.

Unabhängig davon, ob es sich um ein maschinelles Lernmodell oder ein neuronales Deep-Learning-Netzwerk handelt, müssen beide die globalen Minima erreichen oder sich ihnen annähern. Jetzt ist es möglich, ein Hyperparameter-Tuning durchzuführen, um das beste Ergebnis (geringer Verlust oder hohe Genauigkeit) zu finden. Die Kunst des Hyperparameter-Tunings kann jedoch nur dann mit maximaler Effizienz durchgeführt werden, wenn die Optimierungstheorie weitgehend verstanden ist.

Im Allgemeinen besteht das Ziel der Optimierung darin, die bestmögliche Lösung für eine bestimmte Reihe von Problemen zusammen mit den bereitgestellten Einschränkungen zu finden. Daher besteht ein Optimierungsproblem aus drei Grundkomponenten – Zielfunktion, Variablen und Einschränkungen.

Zielfunktion – Eine Funktion, die je nach Problemstellung und Anwendung entweder maximiert oder minimiert werden sollte. Ein Problem, das nur eine Zielfunktion hat, wird als einzieliges Optimierungsproblem bezeichnet . Ein Problem mit mehreren Zielfunktionen wird als mehrobjektives Optimierungsproblem bezeichnet .
Variablen – Dabei handelt es sich um unbekannte Werte, die sowohl Zielfunktionen als auch Einschränkungen darstellen. Das Ziel der Optimierung besteht darin, passende Werte für diese Variablen zu finden. Ein Problem, das nur eine Variable hat, wird Einvariablen-Optimierungsproblem genannt . Ein Problem mit mehreren Variablen wird als Optimierungsproblem mit mehreren Variablen bezeichnet .
Einschränkungen –Hierbei handelt es sich um Einschränkungen, die durch die Problemstellung bereitgestellt werden und durch eine Reihe von Variablen dargestellt werden. Die optimierte Lösung sollte innerhalb der Randbedingungen erhalten werden. Die Menge der Lösungen, die allen Einschränkungen genügen, wird als zulässige Lösungen bezeichnet . Ein Problem, das Einschränkungen aufweist, wird als eingeschränktes Optimierungsproblem bezeichnet . Ein Problem, das keine Einschränkungen hat, wird als uneingeschränktes Optimierungsproblem bezeichnet .

Um mehr über die Arten von Optimierungsalgorithmen und die verschiedenen Methoden zu erfahren, die auf den oben kursiv dargestellten Problemen basieren, habe ich auf das Buch Optimization for Engineering Design von Kalyanmoy Deb verwiesen. Dies gab mir eine Vorstellung davon, wie ich aus einer Optimierungsperspektive denken sollte. Ich habe die Vorgehensweise verschiedener Optimierungsalgorithmen und -methoden verstanden und in Python implementiert, was hier zu finden ist .

Die Formulierung der Zielfunktion ist einer der wichtigen Aspekte bei der Lösung jedes Problems, das sogar aus dem Bereich des maschinellen Lernens oder des Deep Learning stammen kann. Diese Zielfunktion kann auch als Kostenfunktion bezeichnet werden und ist manchmal schwierig zu entwickeln. Die Umwandlung eines gegebenen Problems in ein Optimierungsproblem ist auch wichtig, um das Problem aus einer anderen Perspektive zu verstehen und zu interpretieren. Dies hilft uns, das gewünschte Ziel systematisch zu erreichen und die besten Ergebnisse zu erzielen.

Beispiel: Formulierung eines Optimierungsproblems

Sehen wir uns ein Beispiel für die Formulierung eines Optimierungsproblems im Bereich Deep Learning an. Die hier behandelte Anwendung sind autonome Fahrzeuge.

Zu den Aufgaben eines autonomen Fahrzeugs gehört die Steuerung der Lenkung. Daher ist es für das Fahrzeug oder das Deep-Learning-Modell von entscheidender Bedeutung, den Lenkwinkel zu einem bestimmten Zeitpunkt vorherzusagen.

Die Problemstellung besteht darin, den Lenkwinkel eines autonomen Fahrzeugs mithilfe von Deep-Learning-Techniken vorherzusagen. Auf hoher Ebene werden wir also ein Deep-Learning-Modell trainieren, das anhand eines Eingabebilds der Straße den Lenkwinkel vorhersagt.

Nehmen wir an, dass es sich um ein Optimierungsproblem handelt. Hier wäre die Zielfunktion:

Dabei ist Yi(cap) der vom Deep-Learning-Modell vorhergesagte Lenkwinkel und Yi der tatsächliche Lenkwinkel. Ziel ist es, den Fehler zwischen diesen beiden Werten zu minimieren. Hier wird der Fehler als mittlerer quadratischer Fehler bezeichnet.

Die Variablen wären-

Yi(cap) und Yi, die bereits oben angegeben wurden.

Die Festlegung der Einschränkungen hängt nun von der Art des verwendeten Fahrzeugs ab. Es kommt auch darauf an, ob wir einen Simulator oder ein reales Fahrzeug nutzen, um unser Ziel zu erreichen. Unter der Annahme, dass der Lenkwinkel eine vollständige Drehung sowohl im Uhrzeigersinn als auch gegen den Uhrzeigersinn ausführen kann,

Die Einschränkungen wären-

Dabei ist Yi der tatsächliche Lenkwinkel im oben angegebenen Bereich. Dies hängt jedoch von der Art des verwendeten Fahrzeugs ab und variiert auch, wenn ein Simulator verwendet wird.

Daher haben wir unser Optimierungsproblem formuliert. Jetzt können wir die geeignete Optimierungstechnik finden, um unser gewünschtes Ergebnis zu erreichen, nämlich unseren Fehler zu minimieren. Es können verschiedene Algorithmen verwendet werden, hier wäre Gradient Descent ein geeigneter Optimierungsalgorithmus, um unseren Fehler zu minimieren. Dieser Algorithmus wird häufig im Bereich Deep Learning verwendet.

Abschluss

In diesem Artikel wurde die Bedeutung von Optimierungstechniken und ein Beispiel für die Umwandlung einer Problemstellung in ein Optimierungsproblem diskutiert. Hier können Sie sich meine Implementierungen verschiedener Optimierungsalgorithmen ansehen . Fühlen Sie sich frei, Ihr Feedback und Ihre Kommentare abzugeben, damit ich mich verbessern kann. Ich hoffe, es hat Ihnen beim Lesen genauso viel Spaß gemacht wie mir beim Schreiben.

Verweise

[1] Optimierung für technisches Design
[2] Selbstfahrendes Auto
[3] End-to-End-Lernen für selbstfahrende Autos
[4] Ressourcen