Direkt zum Inhalt

KI-Agenten: Wenn Sprachmodelle handeln lernen

Statt nur zu reden, sollen KI-Agenten selbst aktiv werden und für uns einkaufen, programmieren und Entscheidungen treffen. Aber wer trägt die Verantwortung, wenn die Sprachmodelle Fehler machen?
Eine 3D-Darstellung zeigt eine Gruppe von grünen, roboterähnlichen Figuren, die in einem gleichmäßigen Raster auf einem hellen Hintergrund angeordnet sind. Jede Figur hat ein rechteckiges Gesicht mit runden Augen und ein buntes Muster auf der Brust. Die Anordnung der Figuren vermittelt ein Gefühl von Ordnung und Wiederholung.

Kaum jemand hat damit gerechnet, dass der Turing-Test so schnell geknackt wird. Doch mit dem Aufkommen von ChatGPT schaffen es die Sprachmodelle allesamt, Unterhaltungen auf menschlichem Niveau zu führen. Und das scheint erst der Anfang zu sein. Durch das Wissen über die Welt, dass die KI-Systeme während ihres Trainings sammeln, scheinen sie für Höheres bestimmt: Sie sollen die »Gehirne« autonom handelnder Agenten werden, die sich in der digitalen Welt frei bewegen. Sie sollen für die Nutzerinnen und Nutzer einkaufen, Reisen buchen und lästige Formulare ausfüllen. 

Der aktuelle Hype um den Begriff »Agentic AI« dient vor allem als Narrativ, um Risikokapital anzuziehen. Spätestens seit dem 1995 erschienenen Buch »Artificial Intelligence: A Modern Approach« werden Programme, die eigenständig handeln, Ziele verfolgen und zumindest rudimentär auf Wahrnehmungen reagieren, in der KI-Forschung als Agenten bezeichnet. Neu ist lediglich, dass diese nun auf den Fähigkeiten großer Sprachmodelle aufbauen. Doch damit haben sich völlig neue Anwendungsgebiete eröffnet.

Ausschlaggebend für die aktuellen Fortschritte sei die Erkenntnis, dass sich natürliche Sprache sehr gut als Austauschformat zwischen den einzelnen Komponenten eines Agenten eignet, erklärt der Informatiker David Schlangen von der Universität Potsdam. »Die Zukunft der Sprachmodelle liegt nicht unbedingt darin, mit Menschen zu sprechen, sondern Aufgaben zu erledigen.«

KI, die andere Computerprogramme steuert

Viele der gängigen Sprachmodelle können schon mit einem externen digitalen System interagieren: mit der Internetsuche. Sobald die Chatbots feststellen, dass sie eine Frage nicht direkt auf Grundlage ihres erlernten Wissens beantworten können, aktivieren sie eine Suchmaschine, um an die nötigen Informationen zu kommen. Theoretisch ist aber viel mehr möglich.

»Für das Modell spielt es keine Rolle, ob es einen Text für Menschen produziert oder Programmcode erzeugt, der dann extern ausgeführt wird«, erklärt Schlangen. Schließlich wurden die meisten Chatbots nicht nur mit menschlicher Sprache, sondern auch mit Unmengen von Programmiercode trainiert. Dass menschliche Programmierer ihre Codeabschnitte in natürlicher Sprache kommentieren, spielt der Entwicklung von KI-Agenten zusätzlich in die Hand. Denn so ist es für ein übergeordnetes Programm ein Leichtes, die einzelnen Codebausteine in der Ausgabe eines Sprachmodells abzufangen und extern auszuführen. Das passiert etwa, wenn ein Chatbot eine mathematische Aufgabe lösen soll, die er selbst nicht bewältigen kann. Das Ergebnis der externen Berechnung wird dann in Form eines neuen, internen Prompts an den Chatbot zurückgespielt, der ihn mit gewohnter Eloquenz in seine finale Antwort einbaut.

»Im Prinzip lassen sich so beliebig lange Unterhaltungen aufrechterhalten, bei denen das Sprachmodell nicht mit einem Menschen, sondern mit Programmen kommuniziert und je nach Rückgabe weitere Programme aufruft«, sagt Schlangen. Allerdings müssen dafür die Modelle darauf getrimmt werden, immer das richtige Tool für die jeweilige Aufgabe auszuwählen und dieses korrekt anzusprechen. Denn oft handelt es sich bei diesen Tools um herkömmliche Computerprogramme, die genau definierte Eingaben erfordern – jede Abweichung führt zu Fehlern. Deshalb bekommen Sprachmodelle in der Regel zu jedem Prompt eines Nutzers automatisch einen versteckten Systemprompt, in dem die zur Verfügung stehenden externen Werkzeuge aufgelistet sind.

Spielerisch lernen

Schlangen erforscht die einfachste Form von sprachmodellbasierten Agenten: einzelne Sprachmodelle, die Sprachspiele wie »Tabu« oder »20 Questions« spielen. Bei diesen geht es darum, den Mitspielern Hinweise zu geben, damit sie ein bestimmtes Wort erraten, beziehungsweise selbst Fragen zu formulieren, um auf die Lösung zu kommen. Die Programme müssen dafür Strategien entwickeln und ein Ziel verfolgen. Sie bekommen in dem Fall kein spezielles Training, sondern erhalten lediglich einen Anfangsprompt, der die Aufgabe schildert.

Um zu bewerten, wie sich die Sprachmodelle bei solchen Spielen schlagen, haben Schlangen und sein Team mit »clembench« ein eigenes Bewertungssystem entwickelt. Wie sich herausstellt, steigert vor allem das sogenannte Reasoning, bei dem die Modelle vor ihrer Ausgabe eine Art inneren Dialog mit sich selbst führen, ihre Leistungsfähigkeit. Doch auch wenn sie sich langsam dem menschlichen Niveau annähern, machen die Maschinen immer noch Fehler, die Menschen so gut wie nie unterlaufen. Vor allem, wenn es darum geht, über mehrere Spielzüge hinweg Informationen zusammenzuführen, zeigen die Sprachmodelle deutliche Schwächen. So scheitern selbst die besten der getesteten Modelle bei »Tabu« oft daran, auch vorangegangene Hinweise zu berücksichtigen und sich nicht nur die letzte Beschreibung des gesuchten Begriffs zu merken.

Auch bei »20 Question«s überzeugen die KI-Modelle nicht immer. Oft erinnert das Verhalten an das von Kindern. Anstatt den Suchraum mit geschickten Fragen einzuschränken, kommen die Programme mit Fragen wie »Ist es ein Elefant?« sofort zur Sache. Dennoch sieht Schlangen ein enormes Potenzial darin, Agentensysteme auf großen Sprachmodellen aufzubauen: »Da diese Modelle bereits ein gewisses Weltwissen codiert haben, kann man sie auf erstaunlich vielfältige Weise auf Aufgaben ansetzen.«

Der Informatiker Kristian Kersting, der an der Technischen Universität Darmstadt das Fachgebiet für Maschinelles Lernen leitet, untersucht mit seinem Team daher die Frage, wie Sprachmodelle KI-Agenten verbessern können. Dafür greift er auf eine bereits lange etablierte Testplattform zurück: Atari-Spiele aus den 1980er Jahren.

Atari-Spiele, darunter das legendäre »Space Invaders«

2015 setzte Google DeepMind einen Meilenstein, als dessen Deep-Q-network (DQN) eine ganze Reihe dieser Spieleklassiker meisterte – von Tennis über Pong bis zu Space Invaders. Die DQN-Agenten brauchten dafür keinerlei Hintergrundinformationen zum jeweiligen Spiel, sondern lernten ohne menschliches Zutun aus den Pixeln des Bildschirms, sich in ihrer digitalen Umgebung zurechtzufinden und den Punktestand in die Höhe zu treiben.

Doch manche Spiele überforderten DQN: So etwa Seaquest, bei dem ein U-Boot gesteuert wird, das regelmäßig auftauchen muss, um Sauerstoff zu tanken, während es gleichzeitig Gegner bekämpft und Taucher rettet. »Es ist ziemlich schwierig, anhand einzelner Pixel des Bildschirms zu verstehen, dass ein Balken, der immer kürzer wird, einen schwindenden Sauerstoffvorrat darstellt«, sagt Kersting. »Wenn ich möchte, dass ein Agent seine Spielumgebung wirklich versteht, reichen diese Informationen nicht aus.«

Um den von ihm und seinem Team um Hikaru Shindo unter der Bezeichnung »Blend RL« entwickelten KI-Agenten auf die Sprünge zu helfen, setzten die Forscher auf Sprachmodelle. Denn erst wenn ein System Begriffe wie »U-Boot«, »Taucher« oder »Sauerstoff« nutzen kann und in gewissem Maße versteht, was sie aussagen, ist es auch in der Lage, die Szenen am Bildschirm einzuordnen, Zusammenhänge zu erkennen und langfristige Strategien zu entwickeln. »Schließlich ist es eine der faszinierendsten Fähigkeiten von Sprachmodellen, dass sie zumindest einfache logische Schlussfolgerungen mittlerweile meistens recht gut hinbekommen«, sagt Kersting.

»Man sollte lieber keine voreiligen Fantasien von Allmacht oder vollständiger Problemlösung bei KI-Systemen entwickeln«Kristian Kersting, Informatiker

Allerdings lässt sich die Komplexität eines Atari-Spiels kaum mit der Realität vergleichen. Bei vielem von dem, was die Techfirmen in Bezug auf KI-Agenten versprechen, dürfte es sich wohl noch eher um Marketing handeln – vor allem, wenn suggeriert wird, dass sie in einem allgemeinen Kontext einsetzbar sind und in jeder Situation richtig funktionieren. »Ich bin froh, dass diese Forschung beginnt«, sagt Kersting. »Man sollte allerdings lieber keine voreiligen Fantasien von Allmacht oder vollständiger Problemlösung entwickeln.«

Dennoch werden Agentensysteme bereits in verschiedenen Bereichen vermarktet und eingesetzt. So zum Beispiel in der Softwareentwicklung, wo Sprachmodelle mit einer lokalen Computerumgebung kommunizieren, um Dateien zu erzeugen, Programme auszuführen oder Fehlermeldungen zu analysieren. Anwendungen wie Agentforce von der Firma Salesforce sind auf dem Vormarsch: Die für den E-Commerce-Bereich maßgeschneiderten KI-Agenten sollen unter anderem Produktanfragen bearbeiten oder Garantiefälle prüfen und dabei auf externe Dienste wie Zahlungsabwicklungen zugreifen. Und auch Microsoft zeichnet das Bild einer Zukunft, in der Unternehmen mit Copilot Studio ihre eigenen KI-Agenten entwickeln können – Systeme, die selbstständig handeln, Entscheidungen treffen und sogar ganze Gruppen weiterer Agenten koordinieren. »Ob man Sprachmodelle, die kein echtes Verständnis haben, wirklich auf Werkzeuge loslassen will, die in der digitalen oder echten Welt auch Schaden anrichten könnten, ist eine spannende Frage, die sich in den nächsten Monaten und Jahren klären muss«, meint Schlangen.

Wer übernimmt die Verantwortung?

Diese Problematik beschäftigt auch Judith Simon, Professorin für Ethik in der Informationstechnologie an der Universität Hamburg und stellvertretende Vorsitzende des Deutschen Ethikrats.

Wie schnell sich eine Technologie, die mit ihren Nutzerinnen und Nutzern in natürlicher Sprache interagiert, bei alltäglichen Anwendungen durchsetzen kann, haben Alexa, Siri und ChatGPT bereits gezeigt. Zudem legt die intuitive Art der Kommunikation Vertrauenswürdigkeit nahe – nicht zuletzt, weil die Systeme in der Regel darauf getrimmt sind, die Nutzenden zu bestärken und zu loben. »Dieses kommunikative, menschlich wirkende Element führt dazu, dass Menschen den Systemen glauben«, sagt Simon. »Das könnte bei Agentenmodellen genauso sein.«

Ob die Systeme dieses Vertrauen wirklich verdienen, steht auf einem anderen Blatt. Denn hinter jedem Agentensystem stecken Anbieter wie Google oder Meta, die teilweise gegensätzliche Zielgruppen bedienen: Nutzerinnen und Nutzer auf der einen Seite, Werbung und Unternehmen auf der anderen. So bieten schon einfache Hotelbuchungsplattformen zwar unbestreitbare Vorteile, etwa weil sie Preisvergleiche und damit bessere Entscheidungen ermöglichen. Allerdings werden sie von den Anbietern bezahlt, die sich Sichtbarkeit erkaufen. Dasselbe könnte sich bei KI-Agenten abspielen, wenn man ihnen Kaufentscheidungen überlässt. »Womöglich werden wir auch hier bald einen systematischen Interessenkonflikt zwischen Nutzern und Anbietern haben«, warnt Simon.

Ein weiteres, tiefer liegendes Problem gründet in der Funktionsweise der Sprachmodelle. Im Gegensatz zu herkömmlichen Computerprogrammen funktionieren die KI-Modelle auf Basis von Wahrscheinlichkeiten. Sie haben während ihres Trainings gelernt, menschliche Texte statistisch auszuwerten und das wahrscheinlichste nächste Wort auf einen Prompt zu finden. Somit sind die Ausgaben stets mit Unsicherheiten behaftet. »Wenn sogenannte Halluzinationen auftreten, tun die Systeme eigentlich genau das, wofür sie gebaut worden sind«, sagt Simon. »Nur werden sie leider allzu oft für Aufgaben eingesetzt, für die sie eigentlich nicht geeignet sind.« Und da Sprachmodelle die Grundlage für die neuen Agenten bilden, überträgt sich dieses Problem zwangsläufig auf sie.

»Wenn Halluzinationen auftreten, tun die Systeme eigentlich genau das, wofür sie gebaut worden sind«Judith Simon, Ethikerin

Solange KI-Agenten nur triviale Aufgaben wie Restaurant- oder Friseurbuchungen erledigen, sind die Konsequenzen überschaubar. Außerdem kommt bei aktuellen Systemen spätestens bei der Zahlung ohnehin der Nutzer ins Spiel. »Oft werden Agenten aber als Zukunft der Suche, als Analysewerkzeuge oder in Wirtschaftskontexten vermarktet, wo es auf Wahrheitsgehalt und Genauigkeit ankommt«, gibt Simon zu bedenken. Und sollten sie tatsächlich irgendwann Finanztransaktionen durchführen, könnte es zu schwerwiegenden Fehlern kommen. Dann stellt sich die Frage, ob und inwiefern die Anbieter haften.

Bei vielen Sprachmodellen ist in den Nutzungsbedingungen zu lesen, dass die Anbieter keine Verantwortung für Fehler übernehmen. »Entstehen Schäden, wird die Schuld auf die Nutzerinnen und Nutzer abgewälzt«, sagt Simon. »Bei KI-Agenten bin ich mir unsicher, ob das auch so bleiben wird – und was passiert, wenn die ersten gravierenden Fehler auftreten.« Besonders hoffnungsvoll zeigt sie sich nicht. Bisher sind die großen Techfirmen dafür bekannt, Technologien nach dem Motto »move fast, break things« zu entwickeln: schnell neue Technologien auf den Markt werfen und Kosten sowie Konsequenzen auf die Allgemeinheit verlagern.

Andererseits darf man die Gefahr nicht unterschätzen, dass das Delegieren von Entscheidungen an KI-Agenten unehrliches Verhalten bei ihren Nutzern fördert. »Je stärker man Dinge auf Distanz erledigt, desto leichter fällt Betrug«, sagt Simon. Zwar fiel es Menschen immer schon leichter, Regeln zu beugen oder zu brechen, wenn jemand anderes die Handlung ausführt. Eine im September 2025 in der Fachzeitschrift »Nature« veröffentlichte Studie zeigt, dass der Einsatz von KI diese Tendenzen verstärkt. Das gilt insbesondere dann, wenn man den Agenten lediglich übergeordnete Ziele wie »Maximiere meinen Profit« gibt und sie nicht konkret zu unehrlichem Handeln auffordern muss. Die in der Studie festgestellte Bereitschaft der KI-Agenten, im Dienst ihrer Anwender zu betrügen, zeigt auch, dass es dringend technischer Schutzmechanismen und regulatorischer Rahmenbedingungen bedarf, bevor die Technologie in der breiten Masse ankommt. Künftig werden wir uns als Gesellschaft fragen müssen, was es eigentlich bedeutet, moralische Verantwortung mit Maschinen zu teilen.

Trotz aller Risiken und ungeklärter Fragen scheint es nur natürlich, große Sprachmodelle nach ihrem Durchbruch als Antwortmaschinen nun als Grundlage für die Entwicklung einer neuen Generation von KI-Agenten zu nutzen. »Ich glaube, dass das Denken im Sinne von verschiedenen Agenten und deren Zusammenspiel die Informatik langfristig verändern wird«, sagt Kersting.

WEITERLESEN MIT »SPEKTRUM +«

Im Abo erhalten Sie exklusiven Zugang zu allen Premiumartikeln von »spektrum.de« sowie »Spektrum - Die Woche« als PDF- und App-Ausgabe. Testen Sie 30 Tage uneingeschränkten Zugang zu »Spektrum+« gratis:

Jetzt testen

(Sie müssen Javascript erlauben, um nach der Anmeldung auf diesen Artikel zugreifen zu können)

  • Quellen
Stuart Russell, Peter Norvig, Artificial Intelligence: A Modern Approach, Global Edition, 2021
Schlangen, D. et al., arxiv 2507.08491, 2025
Mnih, V. et al., Nature 10.1038/nature14236, 2015

Schreiben Sie uns!

Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.

Partnerinhalte

Bitte erlauben Sie Javascript, um die volle Funktionalität von Spektrum.de zu erhalten.