Direkt zum Inhalt

Lexikon der Mathematik: Hopfield-Netz

spezielle Realisierung eines assoziativen Speichers im Kontext Neuronale Netze, der durch die Theorie der Spingläser in der theoretischen Physik motiviert ist.

Im folgenden wird die prinzipielle Funktionsweise eines Hopfield-Netzes anhand des von John Hopfield zu Beginn der achtziger Jahre eingeführten Prototyps erläutert (diskrete Variante).

Dieses spezielle Netz ist einschichtig aufgebaut und besitzt n formale Neuronen. Alle formalen Neuronen sind bidirektional mit jeweils allen anderen formalen Neuronen verbunden (vollständig verbunden) und können sowohl Eingabe- als auch Ausgabewerte übernehmen bzw. übergeben. Bei dieser topologischen Fixierung geht man allerdings implizit davon aus, daß alle Neuronen in zwei verschiedenen Ausführ-Modi arbeiten können (bifunktional): Als Eingabe-Neuronen sind sie reine fanout neurons, während sie als Ausgabe-Neuronen mit der sigmoidalen Transferfunktion T : ℝ → {−1, 0, 1}, \begin{eqnarray}T(\xi ):=\left \{\begin{array}{ll}-1 & \text{f}{\ddot{\text u}\text {r}}\space \xi \lt \text{0}\\ 0 & \text{f}{\ddot{\text u}\text {r}}\space \xi =\text{0}\\ 1 & \text{f}{\ddot{\text u}\text {r}}\space \xi \gt \text{0}\end{array}\right\},\end{eqnarray} arbeiten und Ridge-Typ-Aktivierung mit Schwellwert Θ ≔ 0 verwenden (zur Erklärung dieser Begriffe siehe formales Neuron).

In Hinblick auf die Abbildung sei ferner erwähnt, daß alle parallel verlaufenden und entgegengesetzt orientierten Vektoren sowie die Ein- und Ausgangsvektoren jedes Neurons wie üblich zu einem bidirektionalen Vektor verschmolzen wurden, um die Skizze übersichtlicher zu gestalten und die Bidirektionalität auch optisch zum Ausdruck zu bringen.

Abbildung 1 zum Lexikonartikel Hopfield-Netz
© Springer-Verlag GmbH Deutschland 2017
 Bild vergrößern

Struktur eines Hopfield-Netzes

Dem Netz seien im Lern-Modus die bipolar codierten Trainingswerte x(s) ∈ {−1,1}n, 1 ≤ st, zur Speicherung übergeben worden und aus diesen die Gewichte wij =: wji ∈ ℝ, 1 ≤ j < i, 1 ≤ in, in irgendeinem Lern-Prozeß, z. B. mit der Hebb-Lernregel, berechnet worden, sowie wii ≔ 0, 1 ≤ in.

Wird nun dem Netz im Ausführ-Modus ein beliebiger bipolarer Eingabevektor \(x\space =:\space {x}^{[0]}\space =\space ({x}_{1}^{[0]},\space \ldots, {x}_{n}^{[0]})\space \in {\{-1,\space 1\}}^{n}\) übergeben, so erzeugt das Netz zunächst eine Folge von Vektoren (x[u])u∈ℕ gemäß \begin{eqnarray}\begin{array}{l}{a}_{j}^{[u]}:=\displaystyle \sum _{i=1}^{j-1}{w}_{ij}{x}_{i}^{[u+1]}+\displaystyle \sum _{i=j+1}^{n}{w}_{ij}{x}_{i}^{[u]},\\{x}_{j}^{[u+1]}:=\left\{\begin{array}{cc}T({a}_{j}^{[u]}), & {a}_{j}^{[u]}\ne 0,\\ {x}_{j}^{[u]} & {a}_{j}^{[u]}=0,\end{array}\right.\end{array}\end{eqnarray} 1 ≤ jn.

Als finalen Ausgabevektor liefert das Netz dann denjenigen bipolaren Vektor x[v] ∈ {−1, 1}n, für den erstmals x[v] = x[v+1] für ein v ∈ ℕ gilt, also \begin{eqnarray}x:={x}^{[v]}=({x}_{1}^{[v]},\ldots, {x}_{n}^{[v]})\in {\{-1,1\}}^{n}.\end{eqnarray}

Daß ein erster solcher Vektor existiert oder – wie man auch sagt – daß das Netz in einen stabilen Zustand übergeht, zeigt man, indem man nachweist, daß das sogenannte Energiefunktional E : {−1, 1}n → ℝ, \begin{eqnarray}E(x):=-\displaystyle \sum _{i=1}^{n}\displaystyle \sum _{j=1}^{i-1}{w}_{ij}{x}_{i}{x}_{j},\end{eqnarray} auf den Zuständen des Netzes stets abnimmt, solange sich diese ändern. Aufgrund der Endlichkeit des Zustandsraums {−1, 1}n kann dies jedoch nur endlich oft geschehen und die Terminierung des Ausführ-Modus ist gesichert.

Die Funktionalität eines assoziativen Speichers (genauer: eines autoassoziativen Speichers) realisiert das so erklärte Netz dadurch, daß es in vielen Fällen für einen geringfügig verfälschten bipolaren x-Eingabevektor der Trainingswerte den korrekten, fehlerfreien zugehörigen x-Vektor liefert.

Lesermeinung

Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.

  • Die Autoren
- Prof. Dr. Guido Walz

Partnervideos