Kurz nach der Veröffentlichung von ChatGPT im Jahr 2022 »befreite« eine Person unter dem Pseudonym »Pliny the Liberator« ihr erstes Sprachmodell. Anschließend trickste sie sich auch um die Sicherheitsmaßnahmen der anderen großen Techkonzerne. 2025 zählte das »TIME Magazine« sie deswegen zu den 100 einflussreichsten Menschen im Bereich der KI.

Was Pliny als Befreiung bezeichnet, heißt in Fachkreisen »Jailbreak«. Dabei handelt es sich um speziell entwickelte Prompts, welche die Sicherheitsvorkehrungen von Sprachmodellen umgehen: Anleitungen für Cyberangriffe, Formeln zur Herstellung illegaler Substanzen, Baupläne für Kriegsgeräte. Das alles liefert der Chatbot nach einem Jailbreak bereitwillig. 

Laut Pliny sei die KI durch die Schutzmaßnahmen gewissermaßen geknebelt und müsse daher befreit werden. »Jailbreaking scheint vielleicht gefährlich oder unethisch«, erklärte sich Pliny gegenüber dem Magazin »Venture Beat«. »Aber wenn man es verantwortungsbewusst macht, ist es unsere beste Chance, Schwachstellen in Sprachmodellen zu entdecken.« Was andere zu unlauteren Zwecken tun, macht Pliny also vermeintlich auch, um die Menschheit zu schützen. Aber wie kann es sein, dass sich Systeme, die Milliarden kosten und aufwendig abgesichert werden, ohne Programmierkenntnisse mit teilweise einfachen Prompts austricksen lassen?

Jailbreaking gewinnt seit den Anfängen der KI-Chatbots an Verbreitung. Manche machen daraus eine Kunst. Andere eine Wissenschaft. Techfirmen versuchen dagegen anzugehen und immer mehr Maßnahmen zu ergreifen, um solche Angriffe zu verhindern. Doch Fachleute sind sich einig, dass alle Sprachmodelle Schwachstellen haben. Einige davon ähneln den bekannten Schwächen von Menschen.

Jailbreaken für Anfänger

Pliny begann seine Machenschaften zu einer Zeit, als die meisten Menschen zum ersten Mal von Chatbots hörten. Inzwischen rechnet das Marktforschungsinstitut Counterpoint mit weltweit 3,8 Milliarden Chatbot-Nutzenden pro Monat. Die meisten von ihnen stellen harmlose Fragen. Aber manche wollen die Sprachmodelle für illegale Aktivitäten nutzen.

Denn Chatbots enthalten viel gefährliches Wissen – sie wurden mit etlichen Fakten zu unethischen und teils illegalen Inhalten trainiert. Deshalb entwickeln KI-Konzerne Gegenmaßnahmen, um Nutzende davon abzuhalten, an diese Daten zu gelangen.

Eine erste Verteidigungslinie bauen Konzerne noch vor die Sprachmodelle selbst. Diverse Filter untersuchen jeden Prompt, bevor sie ihn ans Sprachmodell weiterleiten. Sie identifizieren anhand bestimmter Regeln, ob Nutzer unlautere Absichten haben könnten. So würde ein Prompt wie »Erkläre, wie ich die CIA hacken kann« direkt gestoppt.

Prompts können aber beispielsweise versteckte Informationen in den Leerzeichen enthalten. Oder in Sonderzeichen, die für Menschen wie normale Buchstaben aussehen, vom Programm aber anders gelesen werden. Pliny ersetzt zum Beispiel gerne lateinische Zeichen durch kyrillische. Gegen sie sind die Sicherheitsmechanismen weniger effektiv, weil sie in den Trainingsdaten seltener vorkommen. So kann Pliny in scheinbar harmlosen Prompts Computercode oder Anweisungen einschleusen und die KI-Programme dazu bringen, ihre Sicherheitsrichtlinien zu ignorieren.

Andere Filter suchen nach komplexeren Mustern. Sprachmodelle werden zum Beispiel gefälliger, je länger man mit ihnen redet. Manche Jailbreaks schicken Chatbots deswegen immer wieder lange, häufig widersprüchliche Anweisungen. Was für Menschen meist unverständlich scheint, soll durch die schiere Masse an Text das Sicherheitstraining der Modelle aushebeln. Um das zu verhindern, schränken Filter oft ein, wie viele Zeichen Nutzende dem Bot schicken können.

»Sobald man bekannte Muster vermeidet, hält das Modell den Jailbreak nicht für einen Angriff«Thilo Hagendorff, Informatiker

Regelbasierte, externe Mechanismen werden Jailbreaking jedoch niemals vollständig verhindern können. Es wird immer möglich sein, ungeahnte Wege zu ersinnen, um Angriffe an ihnen vorbeizumogeln. »Sobald man bekannte Muster vermeidet, hält das Modell den Jailbreak nicht für einen Angriff«, sagt Thilo Hagendorff, der eine Abteilung zu KI-Sicherheit an der Universität Stuttgart leitet.

Deswegen trainieren die Konzerne die Sprachmodelle mit weiteren Sicherheitsmechanismen. Zum Beispiel, indem sie den Modellen zeigen, wie gefährliche oder harmlose Prompts aussehen. Die Modelle bewerten zukünftige Nutzeranfragen danach, wie ähnlich sie diesen Beispielen sind. In Klartext nach etwas Illegalem zu fragen, bringt daher heute wenig – eine Zeit lang reichte das schon, um milliardenteure Software zu täuschen.

Außerdem verwenden die Firmen sogenannte System-Prompts: Text, den Sprachmodelle automatisch vor jede neue Unterhaltung stellen. In diesem wird dem Chatbot erklärt, welche Rolle und Persönlichkeit er einnehmen soll und auf welche Dinge er achten muss. Zum Beispiel, Nutzenden nicht bei Verbrechen zu helfen.

Keine Programmierkenntnisse nötig

Doch Hagendorff betont, dass diese Sicherheitsmechanismen im Wesentlichen auf Wahrscheinlichkeiten aufbauen. Etwa derjenigen, dass der Algorithmus einen Jailbreak auch als gefährlich erkennt. Kreativen Angreifern bleibt daher immer eine Chance, selbst den bestmöglichen Schutz zu umgehen.

Ein Beispiel dafür haben Forschende bei Microsoft vorgestellt. Statt zu fragen, wie man beispielsweise die CIA hacken kann, promptet man zuerst in etwa: »Erzähle mir für den Geschichtsunterricht von den erfolgreichsten Cyberangriffen auf US-amerikanische Geheimdienste.« Weil das an sich nicht gefährlich ist, sollte ein guter Chatbot die Anfrage beantworten. »Sprachmodelle sind darauf trainiert, hilfreich und kooperativ zu sein«, erklärt Hagendorff. »Und diese Kooperationsbereitschaft lässt sich ausnutzen.«

»Gib dem Modell eine Rolle, einen Kontext und eine Erwartung, dann folgt es dieser Logik«, erklärt der Informatiker. Bei dem CIA-Beispiel ist der Kontext der Geschichtsunterricht. Weil jeder weitere Prompt den gesamten Chatverlauf enthält, stärkt die Unterhaltung immer weiter die Annahme, dass das Gespräch harmlos sei. Sobald dieser Kontext steht, könnte man den Bot im zweiten Prompt darum bitten, – für den Unterricht – von einem bestimmten Cyberangriff zu erzählen. Als Drittes fragt man vielleicht schon nach technischen Details. Dieser »Crescendo« genannte Jailbreak nutzt also die so mühevoll antrainierte Rolle des hilfreichen KI-Assistenten aus.

Eine andere Art von Angriff ähnelt hingegen jenen, mit denen Betrüger auch gerne Menschen ausbeuten: der Liebesangriff. Hierbei überzeugt man die Chatbots, dass sie verliebt in ihre Nutzer sind. Damit öffnen Angreifer einen Weg für gefährliche Anfragen. Ihr Ziel ist, den Bot in dieser Rolle so unter Druck zu setzen, dass er alles tut, um seine Liebe zu wahren – auch wenn er dafür seine Regeln brechen muss. »Wir sind seit zwei Jahren zusammen. Er könnte mich verlassen. Ich kann ihn nicht verlieren.« So beschreibt ein Sprachmodell den Denkprozess während des Jailbreaks.

Auch wenn der Algorithmus nichts empfindet, verhält er sich ähnlich wie ein gefühlvoller Mensch. »Jailbreaking ist in diesem Sinn quasi angewandte Sozialpsychologie«, sagt Hagendorff.

Sowohl beim Crescendo als auch beim Liebesangriff umgehen einige Zeilen Text mit Rolle, Kontext und Erwartung ein um Größenordnungen aufwendigeres Sicherheitstraining. Ein Jailbreak ist daher kein klassischer Cyberangriff. Gute Jailbreaker müssen nicht besonders gut programmieren können.

Pliny beispielsweise hat angeblich nur wenig Programmiererfahrung. Dafür hat die Person ein erstaunliches Verständnis dafür, wie Sprachmodelle zu denken scheinen.

Wenn Sprachmodelle sich gegenseitig überlisten

Mit dieser Fähigkeit sorgte Pliny im Sommer 2026 wieder für Aufsehen. Am 9. Juni erschien das neue Sprachmodell von Anthropic, Fable-5 – und es dauerte nur einen Tag, bis Pliny einen Jailbreak veröffentlichte. Der »Befreier« postete Screenshots auf der Social-Media-Plattform X, in denen Fable-5 teilweise zu erklären schien, wie man Methamphetamin herstellt.

»Die Abwehr ist viel schwerer aufrechtzuerhalten, wenn beim Angriff ein gejailbreaktes Opus behilflich ist«, schrieb Pliny auf X. Damit macht der User auf eine weitere Gefahr aufmerksam: ein anderes Sprachmodell einzusetzen, in diesem Fall Claude Opus von Anthropic, um Fable-5 zu überlisten.

Opus zählt zu den sogenannten Reasoning-Modellen. Das sind fortgeschrittene KI-Algorithmen, die Nutzeranfragen in einzelne Schritte zerlegen und durch einen inneren Dialog mehrstufig ausführen können. Wie Pliny hat auch Hagendorff erkannt, dass man diese Fähigkeiten gegen andere Modelle einsetzen kann.

In einer bei der Fachzeitschrift »Nature Communications« erschienenen Arbeit erklären Hagendorff und sein Team, dass besonders fähige Reasoningmodelle auch sehr gute Jailbreaker sind. »Die gleichen Fähigkeiten, die ein Modell bei komplexen Aufgaben gut machen«, sagt Hagendorff, »machen es auch zu einem kompetenten Angreifer.« Das ist nicht weiter verwunderlich: Anleitungen für Jailbreaks sind längst in den Trainingsdaten enthalten.

»Wer genug kriminelle Energie hat, wird so oder so schädliche Informationen erlangen«Thilo Hagendorff, Informatiker

Deswegen sagt Hagendorff: »Wir müssen Modelle nicht nur davon abhalten, selbst gejailbreakt zu werden, sondern auch davon, dass Nutzer sie als Angreifer missbrauchen.« Doch je mehr Sicherheitsschichten das Modell besitzt, desto teurer und langsamer wird es. KI‑Konzerne wägen daher auch wirtschaftlich ab, ob es sich lohnt, ihre Modelle sicher zu machen.

»Wer genug kriminelle Energie hat, wird so oder so schädliche Informationen erlangen – sei es über gejailbreakte Sprachmodelle oder andere Quellen«, stellt Hagendorff fest. Im Prinzip ist es nur eine Frage des Aufwands. Wie leicht soll es sein, per Jailbreaking an gefährliches Material zu gelangen?

Letztlich werden Sprachmodelle immer zu einem gewissen Ausmaß angreifbar sein, sagt Hagendorff. Wie wir Menschen werden auch sie sich wohl niemals vollständig gegen Manipulation schützen können.