BFGS-Verfahren, Methode zur Optimierung einer Funktion \(f:{{\mathbb{R}}}^{n}\to {\mathbb{R}}\) (ohne Nebenbedingungen).

Das Verfahren beginnt mit der Wahl einer beliebigen positiv-definiten Matrix A und eines beliebigen \(x\in {{\mathbb{R}}}^{n}\). Nun minimiert man f entlang der Richtung

\begin{eqnarray}d:=-{A}^{-1}\cdot \text{grad}(f)(x)\end{eqnarray}

und wählt als neuen Punkt \({x}^{* }\) den zugehörigen Extremalpunkt. Vor dem nächsten Iterationsschritt wird die Matrix A nach der sogenannten BFGS-Formel geändert. Diese Formel, deren exakte Schilderung hier zu weit führen würde, verwendet neben A die Vektoren \({x}^{* }-x\) sowie grad(f)(^x*) − grad(f)(x).