Direkt zum Inhalt

Lexikon der Neurowissenschaft: Gradientenverfahren

Gradientenverfahren s, steilster Abstieg, E steepest descent, ein Verfahren zur Lösung einer Optimierungsaufgabe bzw. zur Minimierung einer Energiefunktion. Das Verfahren beruht auf dem Prinzip der Bewegung in Richtung des stärksten Abstiegs (d.h. negativen Gradienten), ähnlich einer Kugel in hügeligem Gelände. Die Energiefunktion E(

)
kann entsprechend als Höhenfunktion über einer durch die Variable

aufgespannten Fläche interpretiert werden ( siehe Abb. ). Der Gradient grad E =

E/



, berechnet an irgendeinem Punkt dieser Energielandschaft, zeigt immer in die Richtung der größten Zunahme der Energiefunktion. Geht man also von einem Startpunkt

0 ein kleines Stück in Gegenrichtung zum lokalen Gradienten,



= -γ grad E mit 0<γ<<1, so nimmt die Energiefunktion ab. Wird dieser Vorgang oft genug wiederholt, bewegt sich das System schließlich in ein Minimum der Energiefunktion, wo der Gradient zu null wird, das Optimierungsverfahren also stoppt. Die Schrittweite



darf beim Gradientenverfahren nicht zu groß gewählt werden, um ein Überschießen (E overshooting) zu vermeiden. Dazu existieren Verfahren zur adaptiven Schrittweitensteuerung. Besitzt die Energiefunktion nicht nur ein einziges globales Minimum, sondern noch zusätzliche lokale Minima, kann das Gradientenverfahren auch in diese lokalen Minima fallen, denn auch hier verschwindet der Gradient. Eine einfache Technik, doch noch das globale Minimum zu erreichen, besteht in der Einführung einer künstlichen Temperatur. Die dadurch erzeugten thermischen Fluktuationen können das System aus flachen lokalen Minima schieben. Bei geeignet gewählter Abkühlungsstrategie wird so das globale Minimum gefunden (Annealing). – Die Fehlerrückmeldung (Fehlerrückmeldungsverfahren) ist ein auf dem Gradientenverfahren basierendes Lernverfahren für Mehrschichtnetze (geschichtetes Netzwerk).



Gradientenverfahren

Lesermeinung

Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.

  • Die Autoren
Redaktion

Dr. Hartwig Hanser, Waldkirch (Projektleitung)
Christine Scholtyssek (Assistenz)

Fachberater

Prof. Albert Ludolph, Ulm
Prof. Lothar Pickenhain, Leipzig
Prof. Heinrich Reichert, Basel
Prof. Manfred Spitzer, Ulm

Autoren

Aertsen, Prof., Ad, Freiburg
Aguzzi, Prof., Adriano, Zürich
Baier, Dr., Harmut, Ulm
Bartels, Prof., Mathias, Tübingen
Becker, Dr., Andreas, Marburg
Born, Prof., Jan, Lübeck
Brecht, Dr., Stephan, Kiel
Breer, Prof., Heinz, Stuttgart
Carenini, Dr., Stefano, Würzburg
Cruse, Prof., Holk, Bielefeld
Culmsee, Dr., Carsten, Marburg
Denzer, Dr., Alain, Waldenburg
Egert, Dr., Ulrich, Freiburg
Ehrenstein, Dr., Walter, Dortmund
Eurich, Dr., Christian , Bremen
Eysel, Prof., Ulf, Bochum
Fischbach, Prof., Karl-Friedrich, Freiburg
Frey, Dunja, Basel
Fuhr, Dr., Peter, Basel
Greenlee, Prof., Marc, Oldenburg
Hartmann, Beate, Basel
Heck, Dr., Detlef, Freiburg
Heller, Prof., Kurt, München
Henkel , Dr., Rolf , Bremen
Herdegen, Prof., Thomas, Kiel
Herrmann, Dr., Gudrun, Bern
Hilbig, Dr., Heidegard, Leipzig
Hirth, Dr., Frank, Basel
Huber, Dr., Gerhard, Zürich
Hund, Martin, Basel
Illing, Dr., Robert Benjamin, Freiburg
Käch, Dr., Stefanie, Basel
Kästler, Dr., Hans, Ulm
Kaiser, Dr., Reinhard, Freiburg
Kaluza, Jan, Stuttgart
Kapfhammer, Dr., Josef P., Freiburg
Kestler, Dr., Hans, Ulm
Kittmann, Dr., Rolf, Freiburg
Klix, Prof., Friedhart , Berlin
Klonk, Dr., Sabine, Stuttgart
Klumpp, Prof., Susanne, Marburg
Kössl, Dr., Manfred, München
Köster, Dr., Bernd, Freiburg
Kraetschmar, Dr., Gerhard, Ulm
Krieglstein, Prof., Josef, Marburg
Krieglstein, Prof., Kerstin, Homburg
Kuschinsky, Prof., Wolfgang, Heidelberg
Lahrtz, Stephanie, Hamburg
Landgraf, Dr., Uta, Stegen
Laux, Thorsten, Basel
Lindemann, Prof., Bernd, Homburg
Löffler, Dr., Sabine, Leipzig
Ludolph, Prof., Albert, Ulm
Malessa, Dr., Rolf, Weimar
Marksitzer, Dr., Rene, Luzern
Martin, Dr., Peter, Kehl-Kork
Martini, Prof., Rudolf, Würzburg
Medicus, Dr., Gerhard, Thaur
Mehraein, Dr., Susan, Freiburg
Meier, Dr., Kirstin, Freiburg
Mendelowitsch, Dr., Aminadav, Basel
Mergner, Prof., Thomas, Freiburg
Metzinger, Dr., Thomas, Frankfurt am Main
Mielke, Dr., Kirsten, Kiel
Misgeld, Prof., Ulrich, Heidelberg
Moll, Joachim, Basel
Münte, Prof., Thomas, Magdeburg
Neumann, Dr., Harald, Planegg-Martinsried
Nitsch, Prof., Cordula, Basel
Oehler, Prof., Jochen, Dresden
Otten, Prof., Uwe, Basel
Palm, Prof., Günther, Ulm
Pawelzik, Prof., Klaus, Bremen
Pickenhain, Prof., Lothar, Leipzig
Ravati, Alexander, Marburg
Reichel, Dr., Dirk, Lübeck
Reichert, Prof., Heinrich, Basel
Reinhard, Dr., Eva, Bern
Rieckmann, Dr., Peter, Würzburg
Riemann, Prof., Dieter, Freiburg
Ritter, Prof., Helge, Bielefeld
Roth, Prof., Gerhard , Bremen
Roth, Lukas W.A., Bern
Rotter, Dr., Stefan, Freiburg
Rubin, Dr., Beatrix, Basel
Ruth, Dr., Peter, Giessen
Schaller, Dr., Bernhard, Basel
Schedlowski, Prof., Manfred, Essen
Schneider, Dr., Werner X., München
Scholtyssek, Christine, Umkirch
Schwegler, Prof., Helmut , Bremen
Schwenker, Dr., Friedhelm, Ulm
Singer, Prof., Wolf, Frankfurt am Main
Spiegel, Dr., Roland, Zürich
Spitzer, Prof., Manfred, Ulm
Steck, Prof., Andreas, Basel
Steinlechner, Prof., Stephan, Hannover
Stephan, Dr., Achim, Rüsselsheim
Stoeckli, Dr., Esther, Basel
Stürzel, Frank, Freiburg
Swandulla, Prof., Dieter, Erlangen
Tolnay, Dr., Markus, Basel
Unsicker, Prof., Klaus, Heidelberg
Vaas, Rüdiger, Bietigheim-Bissingen
van Velthoven-Wurster, Dr., Vera, Freiburg
Walter, Dr., Henrik, Ulm
Wicht, Dr., Helmut, Frankfurt
Wolf, Prof., Gerald, Magdeburg
Wullimann, Prof., Mario, Bremen
Zeilhofer, Dr., Hans-Ulrich, Erlangen
Zimmermann, Prof., Manfred, Heidelberg

Partnerinhalte