Direkt zum Inhalt

Lexikon der Mathematik: formales Neuron

Neuron, processing unit, unit, processing element, Verarbeitungseinheit, Basisbaustein zum Aufbau (künstlicher oder formaler) Neuronaler Netze.

Im einfachsten Fall der Beschränkung auf die diskrete Situation und bei Vernachlässigung spezifischer Update- und Speichereigenschaften im Netz-Kontext läßt sich ein formales Neuron im mathematischen Sinne folgendermaßen definieren (vgl. auch die Abbildung):

Ein formales Neuron ist im diskreten Fall eine spezielle Funktion κ : ℝn → ℝm, die durch die Verkettung einer sogenannten Transferfunktion (auch transfer function, Ausgabefunktion oder Ausgangsfunktion genannt) T :ℝ → ℝ mit einer sogenannten Aktivierungsfunktion (auch Aktivitätsfunktion, activation function, Eingabefunktion, Eingangsfunktion oder effektiver Eingang genannt) A : ℝn → ℝ definiert ist als

\begin{eqnarray}\lim\limits_{\xi\rightarrow -\infty}T(\xi)=a\ \mathrm{und}\ \lim\limits_{\xi\rightarrow\infty}T(\xi)=b\end{eqnarray}

mit a < b genügen (Beispiel: T(ξ) := 1/(1 + exp(−ξ))), ferner glockenförmige Transferfunktionen T, die ebenfalls beschränkt sind, aber den Grenzwertbeziehungen

\begin{eqnarray}\lim\limits_{\xi\rightarrow -\infty}T(\xi)=0\ \mathrm{und}\ \lim\limits_{\xi\rightarrow\infty}T(\xi)=0\end{eqnarray}

genügen (Beispiel: T(ξ) := exp(−ξ2)), und schließlich die identische Transferfunktion T, T(ξ) := ξ.

Als Aktivierungsfunktionen haben sich die sogenannten Ridge-Typ-Aktivierungen

\begin{eqnarray}A_{w,\Theta}:\ x\mapsto \sum\limits^{n}_{i=1}w_{i}x_{i}-\Theta,\end{eqnarray}

die Radial-Typ-Aktivierungen

\begin{eqnarray}A_{d,\varrho}:\ x\mapsto \varrho\sum\limits^{n}_{i=1}(x_{i}-d_{i})^{2},\end{eqnarray}

die hyperbolischen (Sigma-Pi-Typ-)Aktivierungen

\begin{eqnarray}A_{d,\varrho}:\ x\mapsto \varrho\prod\limits^{n}_{i=1}(x_{i}-d_{i})\end{eqnarray}

oder ganz allgemein die multilinearen (Sigma-Pi- Typ-)Aktivierungen

\begin{eqnarray}A_{w,\varrho}:\ x\mapsto \varrho\sum\limits_{R\subset\{1,\ldots,n\}}w_{R}\prod\limits_{i\in R}x_{i}\end{eqnarray}

bewährt. Für die bei der Definition der verschiedenen Aktivierungsfunktionen auftauchenden Parameter haben sich in der Literatur folgende Bezeichnungen durchgesetzt: Schwellwert Θ; Gewichtsvektor oder Gewichte w; Dilatations- oder Skalierungsparameter ϱ; Translationsvektor oder Differenzgewichte d.

Der Vollständigkeit halber sei erwähnt, daß im kontinuierlichen Fall lediglich die Eingabevektoren x ∈ ℝn durch vektorwertige Eingabefunktionen x : ℝk → ℝn zu ersetzen sind (entsprechend bei der Ausgabe die in m identische Ausgabedaten auffächernden Skalare y ∈ ℝ mit y := T(A(x)) durch die in m identische Ausgabefunktionen auf-fächernden reellwertigen Funktionen y : ℝk → ℝ mit y(t) := T(A(x(t))), t ∈ ℝk) sowie Differential-und Integraloperatoren zur Erzeugung geeigneterTransfer- und Aktivierungsfunktionen ins Spiel gebracht werden können.

Ein formales Neuron ist im kontinuierlichen Fall also eine spezielle Funktion κ, \begin{eqnarray}\kappa :Abb({{\mathbb{R}}}^{k},{{\mathbb{R}}}^{n})\to Abb({{\mathbb{R}}}^{k},{{\mathbb{R}}}^{m}),\,\,x\mapsto (T(A(x)),T(A(x)),\ldots, T(A(x))),\end{eqnarray} mit exakt demselben prinzipiellen Aufbau wie im diskreten Fall; insbesondere gelten dieselben Bezeichnungen.

Lesermeinung

Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.

  • Die Autoren
- Prof. Dr. Guido Walz

Partnervideos