Direkt zum Inhalt

Lexikon der Mathematik: Grossberg-Lernregel

eine spezielle Lernregel im Bereich Neuronale Netze, die insbesondere von Stephen Grossberg in den sechziger und siebziger Jahren publik gemacht wurde und in gewisser Weise als Kohonen-Lernregel mit Filter angesehen werden kann (man spricht deshalb in diesem Zusammenhang auch bisweilen von Filter-Lernen).

Im folgenden wird das Prinzip der Grossberg-Lernregel an einem einfachen Beispiel (diskrete Variante) erläutert: Eine endliche Menge von t Vektoren x(s) ∈ ℝn, 1 ≤ st, soll klassifiziert werden, d. h. in j Cluster eingeordnet werden, wobei j im allgemeinen wesentlich kleiner als t ist. Um die folgende Dynamik zu verstehen, sollte man sich vorstellen, daß die Vektoren x(s) ∈ ℝn im Vorfeld extern (z. B. durch ein anderes neuronales Netz) analysiert werden und jeder dieser Vektoren eine seine Relevanz anzeigende zusätzliche Komponente y(s) ∈ {0, 1}, 1 ≤ st, erhält, die im vorliegenden Fall nur zwischen 0 (irrelevant) und 1 (relevant) unterscheidet (Preconditioning). Nun werden zunächst zufällig sogenannte Klassifikationsvektoren w(i) ∈ ℝn, 1 ≤ ij, generiert, die die einzelnen Cluster repräsentieren sollen und aus diesem Grunde auch kurz als Cluster-Vektoren bezeichnet werden.

Die Justierung der Cluster-Vektoren in Abhängigkeit von den zu klassifizierenden Vektoren geschieht nun im einfachsten Fall wie folgt, wobei λ ∈ (0, 1) ein noch frei zu wählender Lernpara-meter ist: Im s-ten Schritt (1 ≤ st) zur Klassifikation von x(s) berechne jeweils ein Maß für die Entfernung von x(s) zu allen Cluster-Vektoren w(i), 1 ≤ ij (z. B. über den Winkel, den euklidischen Abstand, o.ä.). Schlage x(s) demjenigen Cluster zu, dessen Cluster-Vektor die geringste Entfernung von x(s) hat. Falls mehrere Cluster-Vektoren diese Eigenschaft besitzen, nehme das Cluster mit dem kleinsten Index. Falls der so fixierte Cluster-Vektor den Index i hat, ersetze ihn durch \begin{eqnarray}{w}^{(i)}\,+\,\lambda\,({x}^{(s)}\,-\,{w}^{(i)}){y}^{(s)},\end{eqnarray} d. h. durch eine Konvexkombination des alten Cluster-Vektors mit dem neu klassifizierten Vektor, sofern – und das ist in diesem Kontext wichtig – sein zugehöriger Relevanzparameter 1 ist; alle übrigen Cluster-Vektoren bleiben in jedem Fall unverändert.

Iteriere dieses Vorgehen mehrmals, erniedrige λ Schritt für Schritt und breche den Algorithmus ab, wenn z. B. der Maximalabstand aller zu klassifizierenden Vektoren zu ihrem jeweiligen Cluster-Vektor eine vorgegebene Schranke unterschreitet oder aber eine gewisse Anzahl von Iterationen durchlaufen worden sind.

Der oben skizzierte Prototyp der Grossberg-Lernregel ist im Laufe der Zeit in verschiedenste Richtungen wesentlich verallgemeinert worden. Erwähnt seien in diesem Zusammenhang nur die Erweiterung der gegebenenfalls zu modifizierenden Cluster-Vektoren in Abhängigkeit von einer Nachbarschaftsfunktion, der Übergang zu komponentenspezifischen Relevanzparametern mit allgemeinerem Filterverhalten, sowie schließlich auch alle ergänzenden Filter-Techniken im Bereich der adaptive-resonance-theory.

Lesermeinung

Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.

  • Die Autoren
- Prof. Dr. Guido Walz

Partnervideos