Metoda najszybszego spadku

Metoda najszybszego spadku jest dość prostą gradientową, iteracyjną metodą optymalizacji bez ograniczeń. Każda iteracja polega na wykonaniu kroku w lokalnie najlepszym kierunku czyli w kierunku wyznaczonym przez ujemny gradient. Przy czym długość kroku może być stała (metoda gradientu prostego) lub wybrana tak by spadek wartości funkcji celu w nowym punkcie był jak największy (dobrana metodami optymalizacji jednowymiarowej).

Oznaczenia:

x₀ – pierwsze przybliżenie rozwiązania (punkt startowy)

x_i – i-te przybliżenie rozwiązania

i – numer iteracji (na początku równa 0)

Algorytm:

1. sprawdź czy punkt x_i spełnia warunek stopu tzn. czy, jeśli tak to zakończ (x_i jest rozwiązaniem)

2. i := i + 1

3. gdzie– długość kroku minimalizująca jednowymiarową funkcje:

4. przejdź do pkt. 1

Przykładowa trajektoria:

Uwidoczniono poziomice dwuwymiarowej funkcji celu i kolejne punkty eksperymentów.