Direkt zum Inhalt

Lexikon der Mathematik: Hebb-Lernregel

eine spezielle Lernregel für Neuronale Netze, die auf der Abstraktion eines von Donald Hebb im Jahre 1949 formulierten neu-robiologischen Modells für den Prozeß des Lernensberuht und die Basis für eine Vielzahl von verfei-nerten Lernregeln ähnlichen Typs bildet. Stark ab-strahiert lautet das von Hebb propagierte generellePrinzip wie folgt:

Wenn zwei über eine Synapse verbundene Neu-ronen häufig simultan feuern, dann erhöht sichdie Effektivität des Einflusses des präsynapti-schen Neurons auf das postsynaptische Neuron.Im Lernprozeß werden synaptische Kopplungensimultan aktiver Neuronen gestärkt.

Im folgenden wird die formale Übertragung undkonkrete Realisierung der Hebb-Lernregel kurzim Kontext diskreter zweischichtiger neurona-ler Feed-Forward-Netze mit Ridge-Typ-Aktivierungund identischer Transferfunktion in den Ausgabe-Neuronen erläutert: Wenn man einem solchen Netzeine Menge von t Trainingswerten (x(s), y(s)) ∈ ℝn × ℝm, 1 ≤ st, präsentiert, setzt man generell Θj := 0, 1 ≤ jm, und ansonsten \begin{eqnarray}{w}_{ij}:=\displaystyle \sum _{s=1}^{t}{x}_{i}^{(s)}{y}_{j}^{(s)}\end{eqnarray} für 1 ≤ in und 1 ≤ jm. Sind die Trainingsvektoren x(s), 1 ≤ st, nun orthonormal, dannarbeitet das entstandene neuronale Netz im Aus-führ-Modus perfekt auf den Trainingswerten, d. h. \begin{eqnarray}\displaystyle \sum _{i=1}^{n}{w}_{ij}{x}_{i}^{(s)}={y}_{j}^{(s)}\end{eqnarray} für 1 ≤ jm und 1 ≤ st.

Dieses spezielle Netz wird in der Literatur auch(Hebb-trainierter) linearer Assoziierer genannt,und es spiegelt das Prinzip der neurophysiologischmotivierten Hebb-Lernregel im folgenden Sinne wider: Da das Netz im Ausführ-Modus für einen gege-benen Eingabevektor x = (x1, …, xn) ∈ ℝn denzugehörigen Ausgabevektor y = (y1, …, ym) ∈ ℝm berechnet gemäß \begin{eqnarray}{y}_{j}=\displaystyle \sum _{i=1}^{n}{w}_{ij}{x}_{i},1\le j\le m,\end{eqnarray} gibt das Gewicht wij an, wie stark die Eingabe xi auf die Ausgabe yj Einfluß nehmen kann. Ist nun fürden s-ten Trainingswert (x(s), y(s)) die multiplikativgebildete Simultanaktivität \({x}_{i}^{(s)}{y}_{j}^{(s)}\) groß, dann sollauch die synaptische Kopplung wij entsprechendgestärkt werden, ist sie klein, wird das Gewichtentsprechend weniger verändert. In diesem Sinneentspricht die oben formulierte Vorschrift zur Fi-xierung der Gewichte des Netzes genau der neuro-physiologischen Hebb-Lernregel.

Lesermeinung

Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.

  • Die Autoren
- Prof. Dr. Guido Walz

Partnerinhalte