Wenn heute von KI die Rede ist, denken die meisten Menschen an ein Sprachmodell: ein Programm, das mit uns spricht, zu Fehlern neigt und undurchsichtig ist wie eine Blackbox. Doch ältere KI-Modelle sind völlig anders. Etwa die »symbolische« KI, die festen Regeln folgt und ihr Wissen durch Symbole darstellt. Vor Jahrzehnten galt diese Form des maschinellen Lernens als vielversprechende Vorreitertechnologie. Anfang der 2010er-Jahre wurde sie allerdings von neuronalen Netzen überholt, die großen Sprachmodellen und Chatbots wie ChatGPT zugrunde liegen. 

Neuester Trend ist eine Symbiose aus beiden Ansätzen, die »neurosymbolische KI«, die Alt und Neu miteinander verbindet. Seit 2021 ist das Interesse an diesem übergreifenden Ansatz sprunghaft angestiegen – und es scheint kein Ende in Sicht. Diese Entwicklung könnte die Monopolstellung von neuronalen Netzen in der KI-Forschung beenden. Viele Forschende erhoffen sich dadurch einen Weg zu einer intelligenteren und zuverlässigeren KI. 

Die Optimistischsten von ihnen sehen darin sogar die Möglichkeit einer »künstlichen allgemeinen Intelligenz« (kurz: AGI): einer KI, die wie Menschen logische Schlüsse zieht und ihr Wissen von einer Situation auf eine andere übertragen kann. Durch ihren symbolischen Anteil wäre ein solches KI-Modell auch keine reine Blackbox mehr, sondern seine Schritte wären transparent und nachvollziehbar.

Es gibt bereits erfolgreiche Beispiele für neurosymbolische KI-Modelle, etwa AlphaGeometry von Google DeepMind, das Aufgaben der Internationalen Mathematik-Olympiade gemeistert hat. Bislang sind solche hybriden Systeme allerdings noch auf einzelne Anwendungen spezialisiert. Daher fragen sich Fachleute, wie sie neuronale Netze und symbolische Methoden zu einem breit einsetzbaren System verbinden können – und ob es den hohen Erwartungen gerecht werden kann.

Mehr Regeln oder mehr Daten? 

Im Jahr 2019 veröffentlichte der Informatiker Richard Sutton auf seinem Blog einen kurzen Aufsatz mit dem Titel »The Bitter Lesson«. Seit den 1950er-Jahren gehe die Fachwelt davon aus, dass der ideale Weg zur Entwicklung intelligenter Computer darin besteht, sie mit all unseren Erkenntnissen über die Welt zu füttern – von Physik bis hin zu Sozialwissenschaften. Doch bislang wurden die symbolischen Methoden stets von Systemen übertroffen, die große Datenmengen und viel Rechenleistung nutzen. Zum Beispiel unterliegen Schachcomputer, die mit menschlichen Strategien trainiert werden, jenen KI-Modellen, die bloß etliche Spielbeispiele sehen.

Dieses Argument führen Befürworter neuronaler Netze häufig an. Ihrer Meinung nach sei der am besten geeignete Schritt zu einer intelligenten KI, die Systeme immer weiter zu vergrößern.

Viele Forschende sind jedoch der Meinung, dass Sutton in seinem Aufsatz übertreibt und die entscheidende Rolle herunterspielt, die symbolische Systeme einnehmen können – und schon heute einnehmen. Zum Beispiel verbindet das derzeit beste Schachprogramm, Stockfish, ein neuronales Netzwerk mit einem symbolischen Ansatz, in dem die zulässigen Züge enthalten sind.

Vor- und Nachteile der KI‑Ansätze

Neuronale Netze und symbolische Algorithmen haben jeweils eigene Vor- und Nachteile. Symbolische Systeme tun sich schwer damit, unübersichtliche Konzepte wie die menschliche Sprache zu erfassen. Und wenn ihnen ein riesiges Regelwerk zugrunde liegt, das sich nur langsam durchsuchen lässt, eignen sie sich auch nicht. Dafür ist ihre Funktionsweise transparent, die symbolischen Systeme können logische Schlüsse ziehen und ihr Wissen auf neue Situationen anwenden.

Neuronale Netze bestehen aus hintereinander angeordneten Schichten von künstlichen Neuronen, die durch gewichtete Verbindungen zusammenhängen. Während des Trainings werden die Gewichte so angepasst, dass sie eine Aufgabe möglichst gut erfüllen. Diese Netzwerke sind schnell und liefern kreative Ergebnisse, aber sie sind nicht immer zuverlässig. Sprachmodelle neigen zum »Halluzinieren«, und sie scheitern oft an Aufgaben, die über ihre Trainingsdaten hinausgehen.

So können heutige Bildgeneratoren, die auf neuronalen Netzen fußen, Menschen mit sechs Fingern pro Hand zeichnen, weil sie unsere Biologie nicht kennen; und Videogeneratoren tun sich schwer damit, einen Ball auf realistische Weise durch eine Szene hüpfen zu lassen, weil sie die Schwerkraft nicht verstehen. Einige Forschende führen solche Fehler auf einen Mangel an Daten oder Rechenleistung zurück. Andere sehen darin hingegen einen Beweis, dass neuronale Netze unfähig sind, Wissen zu verallgemeinern und logische Schlüsse zu ziehen.

Viele Fachleute argumentieren deshalb, dass eine Kombination von neuronalen Netzen und symbolischer KI ein entscheidender Schritt in Richtung echter Intelligenz ist. Deshalb investieren einige große Player wie IBM in diese hybriden Ansätze.

Doch nicht alle sind so zuversichtlich. So sieht der renommierte Informatiker Yann LeCun die beiden KI-Systeme als grundsätzlich unvereinbar an. Sutton hält ebenfalls an seinem Argument fest: »Die bittere Lektion gilt immer noch für die heutigen KI-Systeme.« Deswegen sei das Einbringen von symbolischen Techniken ein Fehler.

Die vielen Wege, neuronale Netze und Symbolik zu verbinden

Die neurosymbolische KI soll die Vorteile neuronaler Netze mit denen der symbolischen KI verbinden. Doch wie das genau gelingen kann, ist bislang unklar. Es gibt nicht die eine neurosymbolische KI, sondern viele verschiedene Versionen davon – von denen bisher nur ein winziger Teil erforscht wurde, wie der Informatiker Gary Marcus erklärt. 

Zum Beispiel kann man symbolische Techniken nutzen, um neuronale Netze zu verbessern. AlphaGeometry ist ein Beispiel dafür: Ein symbolisches System erstellt einen synthetischen Datensatz mit mathematischen Problemen, für den sich die Lösungen leicht überprüfen lassen. Mit diesen Daten wird anschließend ein neuronales Netz trainiert.

In ähnlicher Weise bieten »Logik-Tensor-Netze« eine Möglichkeit, symbolische Logik für neuronale Netze zu codieren. Aussagen werden hierbei mit einem kontinuierlichen Wahrheitswert versehen, also einer Zahl zwischen 1 (wahr) und 0 (falsch). Dies bietet dem KI-System einen symbolischen Rahmen von Regeln, an die es sich halten muss.

Umgekehrt kann man aber auch neuronale Netze nutzen, um symbolische Algorithmen zu optimieren. Symbolische Wissensdatenbanken sind oft so groß, dass es sehr lange dauert, sie zu durchsuchen. Der »Baum« aller möglichen Züge einer Go-Partie enthält zum Beispiel rund 10¹⁷⁰ Einträge. Neuronale Netze können die vielversprechendste Untergruppe von Zügen vorhersagen – so muss ein System nur noch einen kleinen Teil des Baums beachten. Das nutzt zum Beispiel das KI-Programm AlphaGo von Google.

Eine alternative Idee besteht darin, die Symbolik in die Mitte des Arbeitsablaufs eines Sprachmodells einzufügen. Indem dieses während seiner Verarbeitung auf regelbasierte Systeme zurückgreift, kommt es nicht vom Weg ab, so die Hoffnung. »Program-Aided Language« wandelt zum Beispiel eine in menschlicher Sprache formulierte Eingabe mithilfe eines Sprachmodells in Python-Code um und verwendet diesen symbolischen Code, um das Problem zu lösen. Anschließend übersetzt das Sprachmodell das Ergebnis wieder in natürliche Sprache für die Ausgabe.

Die KI-Forscherin Jiayuan Mao von der University of Pennsylvania hat neurosymbolische KI erfolgreich eingesetzt, um Roboter effizienter zu trainieren. Sie hat ein neuronales Netz genutzt, um Objekte zu erkennen, etwa einen roten Gummiball oder einen grünen Glaswürfel. Anschließend hat ein symbolischer Algorithmus Fragen zu diesen Objekten beantwortet, etwa: Befindet sich der Gummiball hinter dem grünen Würfel? Ein neuronales Netz bräuchte 700 000 Beispieldaten, um solche Aufgaben mit einer Genauigkeit von 99 Prozent zu meistern. Symbolische Techniken benötigen hingegen nur zehn Prozent davon. »Selbst wenn man nur 7000 Beispiele nutzt, kommt man auf 92 Prozent Genauigkeit, was ziemlich beeindruckend ist«, sagt die Forscherin.

Lost in Translation

Eine der großen Herausforderungen besteht darin, das menschliche Wissen in logische Regeln zu gießen. Im Jahr 1984 rief der Informatiker Doug Lenat ein Projekt namens Cyc ins Leben, das Fakten und Faustregeln des gesunden Menschenverstands enthalten sollte, etwa »eine Tochter ist ein Kind«, »Menschen lieben ihre Kinder« und »jemanden zu sehen, den man liebt, bringt einen zum Lächeln«. Die dazugehörige Programmiersprache namens CycL nutzt Symbole, um logische Verknüpfungen auszudrücken. Dadurch lassen sich Schlüsse ziehen wie »Ihr Kind zu sehen, würde Sie zum Lächeln bringen«. 

Cyc enthält inzwischen mehr als 25 Millionen eingetragene Grundregeln. Es wurde bei vielen KI-Projekten eingesetzt und hat etliche andere Projekte inspiriert, wie den »Knowledge Graph« von Google, der über 500 Milliarden Einträge umfasst.

Symbolische Datenbanken können einer KI helfen, Transferleistungen zu erbringen, sagt Leslie Kaelbling vom Massachusetts Institute of Technology. Bei Themen, die oft von festgelegten Regeln abweichen, muss man jedoch Abstriche bei der Genauigkeit machen. Nicht alle Menschen lieben zum Beispiel ihre Kinder – und wenn man etwas sieht, das man liebt, muss man nicht immer lächeln. Symbolische KI sollte nur dann verwendet werden, wenn sie wirklich hilfreich ist, sagt die Forscherin. »Cyc hat versucht, den gesunden Menschenverstand in Mathematik zu gießen. Das ist mit Sicherheit eine schlechte Idee.«

Im Jahr 2023 veröffentlichten Marcus und Lenat eine Arbeit, in der sie darlegten, was Sprachmodelle von Cyc lernen können. Dabei baten sie GPT-3, symbolische CycL-Anweisungen zu schreiben, die die logischen Beziehungen in folgendem Satz codieren: »Haben Sie am 25. September 2022 ein blaues Objekt in der französischen Hauptstadt berührt?«. Das Cyc-Team war zunächst verblüfft. Das Sprachmodell erzeugte augenscheinlich die richtigen Arten von Aussagen in der richtigen Sprache. Doch bei näherer Betrachtung habe es viele entscheidende Fehler gemacht, etwa finde sich die Schlussfolgerung: »Das Datum berührt das blaue Objekt.«

»Es sieht aus, als würde es gut funktionieren, aber es ist absoluter Müll«, sagt der Informatiker Brandon Colelough von der University of Maryland. Deshalb sei es sinnlos, eine symbolische KI mit einem neuronalen Netz zusammenzustecken. »Man könnte genauso gut auf das neurosymbolische System verzichten.«

Colelough ist überzeugt davon, dass viel mehr Forschung zur Metakognition von KI nötig ist: Man müsse herausfinden, wie KI ihr »Denken« überwacht und leitet. Damit könnten Forschende neuronale Netze und Symbolik clever verbinden, statt dass sich verschiedene Mechanismen einfach abwechseln. AlphaGeometry macht dies zwar gut, aber nur in einem begrenzten Kontext. Wenn man eine KI entwickeln könnte, die für jeden Wissensbereich funktioniert, dann wäre das aus Coleloghs Sicht eine AGI.

Auf dem Weg dorthin gibt es noch viel zu erforschen. Neue Hardware- und Chip-Architekturen könnten nötig sein, um neurosymbolische KI effizient zu betreiben. Mit der Zeit könnten auch andere Arten der KI wichtig werden.

»Die Hoffnung ist, dass wir irgendwann Systeme haben, die ihre eigenen symbolischen Darstellungen finden – und so über das hinausgehen können, was Menschen wissen«, sagt Mao. »Wir müssen untersuchen, wie Computer den Menschen etwas beibringen können, und nicht, wie Menschen den Maschinen etwas beibringen können.«