3.1 Probleme ohne Restriktionen

Minimierung freier Funktionen: 

• Methoden nullter Ordnung: benötigen nur Funktionswerte (ableitungsfreie Verfahren)
• Methoden erster Ordnung: benöten auch erste Ableitungen
• Methoden zweiter Ordnung: benötigen zusätzlich zweite Ableitungen

Es werden keine Ableitungen benötigt, daher einfach, meistens recht robust, aber geringe Effizienz.

• 1. Vollständige Enumeration
• 2. Zufallssuche im Entwurfsvariablenraum (Monte-Carlo-Verfahren)
• 3. Zufallssuche über Zufallssuchrichtung mit nachfolgender eindimensionaler Minimierung
• 4. Powellsche Methode der konjugierten Richtungen
• 5. Evolutionsverfahren

• Suchgebiet mit n-dimensionalem Gitter überziehen. Bestimmung und
• Vergleichen der Zielfunktionswerte Äußerst einfache Programmierung, aber
• führt leicht zu extremen Rechenaufwand.

Suchpunkte mit Zufallszahlengenerator ermitteln, ebenfalls leicht ineffizient.

Ausgehend von einem Entwurfsvariablenpunkt  erzeugt man verbesserte Punkte  durch Zufallsauswahl der Suchrichtung und Bestimmung der optimalen Schrittweite . Falls nur eine Zunahme von , ersetzt man  durch . Verfahren effizienter als direkte Zufallssuche. Auf dem Strahl wird die Zielfunktion "eindimensional" optimiert: .

• Zunächst nacheinander  aufeinander folgende eindimensionale Optimierungen in  willkürlich gewählten Suchrichtungen .
•  jeweils optimierte Schrittweite 
• Dann neue Suchrichtung, die den bisherigen "Trend" berücksichtigt.
• Konjugierte Richtung:
• eindimensionale Optimierung
• als nächste Suchrichtung ... usw
• Problem: Im Laufe der Iteration letzte Suchrichtungen immer stärker parallel zueinander
• Abhilfe: Neustart mit orthogonalen Suchrichtungen.
• Methode insgesamt recht effizient und zuverlässig für kleine Prbleme .

• Zufallsstrategien, die biologischen Prozess der Evolution nachempfinden.
• Startvektor (Eltern)
• Mutationen (Nachkommen) mit Hilfe von Zufallszahlengenerator
• Selektion: Vektoren mit zu schlechten
• Zielfunktionswerten verwerfen.
• auch für restringierte Optimierungsprobleme
• hohe Allgemeingültigkeit und leicht programmierbar
• nur wenig effizient

• 1. Methode des steilsten Abstiegs
• 2. Verfahren der konjugierten Richtungen von Fletcher und Reeves

• Suchrichtung und eindimensionale Optimierung
• sehr einfach
• Konvergenz oft langsam, Neigung zu "Zick-Zack-Verläufen"

• Nutzt Informationen aus jeweils vorangegangener Suchrichtung.
• Ist leichte Modifikation der Methode des steilsten Abstiegs, meistens erheblich besser. Eine der effizientesten Minimierungstechniken.

• (Methoden zweiter Ordnung verwenden die zweiten Ableitungen der Zielfunktion, weitere Verbesserung der Konvergenz)
• 1. Newton-Verfahren

• Bestimme aus über die Taylor-Entwicklung
• wobei und . (Hesse-Matrix)
• Damit ergibt sich dann die Iterationsvorschrift .
• statt Inversion der Hesse-Matrix ermittle als Unbekannte des linearen Gleichungssystems , erneute Taylorentwicklung an der Stelle ... usw
• Problem: Hesse-Matrix kann (fast) singulär sein, z.B. wenn Entwurfsvariablen (fast) linear in eingehen.
• Alternative: Approximation der Hesse-Matrix mittels der Zielfunktionsgradienten aufeinanderfolgender Iterationsschritte. Quasi-Newton-Verfahren (Broydon-Fletcher-Goldfarb-Shanno BFGS)