Gradientenmethode, auch als Verfahren des steilsten Abstiegs bezeichnet, spezielles numerisches Lösungsverfahren für nichtlineare Optimierungsprobleme, ein Verfahren zur Minimierung einer differenzierbaren Funktion f : ℝⁿ → ℝ.

Es sei f : ℝⁿ → ℝ eine partiell differenzierbare Funktion mit jeweils stetigen partiellen Ableitungen und dem Gradienten (grad f). Ferner möge f ein (lokales oder sogar globales) Minimum besitzen und λ > 0 beliebig und fest gegeben sein. Dann nennt man den zur Minimum-Suche dienenden Algorithmus \begin{eqnarray}\begin{array}{l}{x}^{(0)}\in {{\mathbb{R}}}^{n}\,\text{beliebig}\,\text{gew}{\ddot{\mathrm a} \text h\text l\text t},\\ {x}^{(k+1)}:={x}^{(k)}-\lambda \,(\text{grad})f({x}^{(k)}),\,\,(k\in {\mathbb{N}}),\end{array}\end{eqnarray}

Gradienten-Verfahren. Der Vektor −(grad f)(x^(k)) ist eine Abstiegsrichtung für f in x_k. Darüberhinaus ist die Richtungsableitung von f in x_k in Richtung −(grad f)(x^(k)) am kleinsten, weshalb man auch vom Verfahren des steilsten Abstiegs spricht.

Die Konvergenz der entstehenden Vektorfolge (x^(k))_k∈ℕ gegen ein lokales oder sogar globales Minimum der Funktion f ist i. allg. nicht gesichert und bedarf zusätzlicher Untersuchungen. Ferner hat die freie Wahl des Parameters λ > 0 sowie des Start-vektors x⁽⁰⁾ ∈ ℝⁿ wesentlichen Einfluß auf den Erfolg oder Mißerfolg des Verfahrens und kann z. B. im Rahmen einer Einbettung in einen genetischen Algorithmus erfolgen.

Eine gute Wahl von λ =: t_k ist wie folgt: Man wählt t_k ≥ 0 als Minimum der Abbildung \begin{eqnarray}t\,\to \,f({x}_{k}\,-\,t\,\cdot \,(\text{grad}f)({x}_{k}))\,.\end{eqnarray}

Diese Wahl von t_k nennt man manchmal auch Cauchy-Prinzip. Spezielle andere Wahlen der Schrittweite t_k sind ebenfalls gebräuchlich.

Abschließend sei bemerkt, daß dieses Verfahren im Kontext Neuronale Netze die Basis der Backpropagation-Lernregel bildet sowie in entsprechend angepaßter Form natürlich auch zur numerischen Bestimmung lokaler oder globaler Maxima eingesetzt werden kann.