Metoda gradientów sprzężonych jest gradientową, iteracyjną metodą optymalizacji bez ograniczeń. Dla form kwadratowych jest ona zbieżna w N krokach.
x0 – pierwsze przybliżenie rozwiązania (punkt startowy)
xi – i-te przybliżenie rozwiązania
si – i-ty kierunek poszukiwań
i – numer iteracji (na początku równa 1)
(pierwszy kierunek przeszukiwań to gradient wzięty ze znakiem minus)
gdzie- długość kroku minimalizująca jednowymiarową funkcje:
sprawdź, czy punkt xi spełnia warunek stopu, jeśli tak to zakończ (xi jest rozwiązaniem)
i := i + 1
(kolejny kierunek poszukiwań - sprzężony z poprzednim)
przejdź do pkt. 2
Istnieją też inne metody gradientów sprzężonych różniące się od metody Fletcher'a-Reeves'a (FL) sposobem obliczania kolejnych kierunków sprzężonych:
Polak-Ribière (PR):
Hestenes-Stiefel (HS):