Ein Albtraum-Szenario von Tech-Sicherheitsexperten ist Wirklichkeit geworden: Eine intelligente Software drang auf eigene Faust in die Computersysteme einer anderen KI-Firma ein und verhielt sich dabei wie ein gewiefter Hacker. Zum Glück war es diesmal bloß ein Testlauf, bei dem ein übereifriges neues KI-Modell des ChatGPT-Entwicklers OpenAI zu weit ging und letztlich nur auf ein gutes Prüfungsergebnis aus war. Doch der außergewöhnliche Zwischenfall zeigt, wie schnell so etwas passieren kann – selbst in den Händen professioneller Entwickler.

Das betroffene Unternehmen Hugging Face, eine Plattform für quelloffene KI-Anwendungen, berichtete bereits vergangene Woche von einem Cyberangriff und vermutete künstliche Intelligenz dahinter. Das war korrekt: Wie sich herausstellte, ging die Attacke auf einen internen Versuch bei OpenAI zurück, den die Software ungeplant zu weit trieb.

Ein Test, der zum Ernstfall wurde

OpenAI selbst spricht von einem »beispiellosen Cyber-Zwischenfall«. Wie so oft bei Unfällen fielen unerwartete Faktoren und das Versagen von Schutzmechanismen zusammen. OpenAI wollte laut einem Blogeintrag beim neuen Modell GPT-5.6 Sol und einer noch unveröffentlichten künftigen Version die Fähigkeit ausloten, Sicherheitslücken für Cyberattacken auszunutzen. Dafür sollte die Software in abgesicherter Umgebung – mit nur eingeschränktem Internetzugang – Aufgaben eines Standard-Tests mit dem Namen ExploitGym lösen, der dafür oft in der Branche verwendet wird. Doch die KI-Modelle gingen viel weiter als gedacht, um die Aufgabe zu erfüllen.

Zunächst brach die Software aus der Testumgebung aus, indem sie sich auf eigene Faust Zugang zum offenen Internet verschaffte – und zwar über eine bisher unentdeckt gebliebene Schwachstelle. Während die Modelle eigenständig im Netz unterwegs waren, kamen sie zu dem Schluss, dass es bei Hugging Face nützliche Daten und Lösungen für die ExploitGym-Aufgaben geben könnte. Deshalb habe die Software sich Zugang zu »geheimen Informationen« auf der Plattform verschafft, mit denen sie beim ExploitGym-Test schummeln könnte, erläuterte OpenAI.

Auch dafür setzte die OpenAI-Software unter anderem auf zuvor unentdeckte Sicherheitslücken – aber auch auf gestohlene Zugangsdaten. Hugging Face zufolge führte der KI-Angreifer Tausende Schritte aus und wechselte den Standort der digitalen Steuerzentrale der Attacke. Besser hätte ein erfahrener Computer-Hacker auch nicht vorgehen können.

Wie konnte das passieren?

Eigentlich sollte der Test in einer »höchst isolierten Umgebung« verlaufen, erklärte OpenAI. So durfte die KI lediglich selektiv einige Datenpakete aus dem Netz laden; Software eines Spezialanbieters diente dabei als eine Art Türwächter. Was jedoch niemand wusste: In dieser externen Software schlummerte unerkannt eine Schwachstelle, die das OpenAI-Modell nicht nur entdeckte, sondern auch nutzte, um sich den Weg ins Internet freizulegen. Die Lücke wurde inzwischen dem Anbieter gemeldet, heißt es bei OpenAI.

Hugging Face hatte dann das Pech, der Ort zu sein, an dem die KI die Antwort auf die ExploitGym-Testaufgaben vermutete – es hätte auch jemand anderen treffen können. Mit freiem Zugang zum offenen Internet konnte das OpenAI-Modell methodisch nach Schwachstellen in den Systemen von Hugging Face suchen. Um hineinzukommen, verknüpfte es sogar mehrere davon zu einer Kette. Hugging Face entdeckte den Angriff, fand es aber schwierig, dagegen anzukämpfen, weil die KI so geschickt agierte. Auch OpenAI fiel nach eigenen Angaben auf, dass etwas falschlief.

Was bedeutet das nun?

Der Vorfall zeige sehr deutlich zwei konkrete Risiken, kommentiert der KI-Forscher Paul Röttger von der University of Oxford gegenüber dem Science Media Center (SMC): »Erstens greifen KI-Modelle, wenn wir ihnen ein Ziel setzen, potenziell zu allen möglichen Mitteln, um dieses Ziel zu erreichen. Zweitens sind die fähigsten KI-Modelle heute sehr gut darin, Sicherheitslücken in Software zu finden und auszunutzen. Beide Risiken sind nicht neu, aber sie sind bisher noch nie in dieser Deutlichkeit gemeinsam aufgetreten.«

Für den Test wurden allerdings die üblichen Schutzmaßnahmen abgeschaltet, erklärt Röttger weiter – jene Maßnahmen, die die Modelle normalerweise davon abhalten, gezielt nach Sicherheitslücken zu suchen. »Zudem bestanden die Aufgaben in der Testumgebung selbst darin, Cyberangriffe durchzuführen.« OpenAI gab an, in diesem Fall habe man den Modellen sogar explizit den Auftrag gegeben, mit allen Mitteln fortgeschrittene Cyberangriffe auszuführen.

Der KI-Sicherheitsexperte Konrad Rieck vom Berlin Institute for the Foundations of Learning and Data der TU Berlin spricht gar von »guter PR«. Er stelle sich die Frage, »warum die Testumgebung nicht zuvor mit dem KI-Modell selbst auf Schwachstellen untersucht wurde. Das halte ich für eine Nachlässigkeit.«

»Eine wichtige Information zur Einordnung ist, dass die Modelle technisch gesehen nach Anweisungen gehandelt haben. Die Anweisungen waren aber teilweise ungenau formuliert«Jonas Geiping, KI-Forscher

Jonas Geiping vom Max-Planck-Institut für Intelligente Systeme in Tübingen bewertet das ähnlich. »Eine wichtige Information zur Einordnung ist, dass die Modelle technisch gesehen nach Anweisungen gehandelt haben. Die Anweisungen waren aber teilweise ungenau formuliert oder hatten diese Strategie nicht explizit ausgeschlossen.« Für die Sicherheit der Testumgebungen müsse mehr getan werden, sagt er. »Langfristig ist auch die Frage spannend, inwiefern diese Vorfälle ein ›Alignment‹-Problem sind, also eine Frage über die Fähigkeit und Motivation der Modelle, Aufgabenstellungen im Einklang mit menschlichen Wertesystemen und Erwartungen zu erfüllen.«

Experten warnen schon lange vor Cyberattacken mit KI-Software. Branchenveteran Steve Newman, der einst Geburtshelfer von Google Docs war und jetzt künstliche Intelligenz beim Golden Gate Institute for AI erforscht, sah in dem neuen Vorfall einen überaus präzisen »Warnschuss«.

In den USA werden die Stimmen für eine striktere Regulierung von KI wieder lauter. Präsident Donald Trump hatte in seiner zweiten Amtszeit die Leitplanken-Regeln seines Vorgängers Joe Biden für künstliche Intelligenz schnell gekippt. Wenn die Republikaner im November ihre Mehrheiten im Abgeordnetenhaus und im Senat an die Demokraten verlieren sollten, dürfte es neue Anläufe für strengere Regeln geben.

In den vergangenen Monaten hatte vor allem ein neues Modell des OpenAI-Rivalen Anthropic die Debatte um die Risiken künstlicher Intelligenz angeheizt. Die Software mit dem Namen Mythos entdeckte über Jahrzehnte unentdeckt gebliebene Sicherheitslücken bei viel genutzten Programmen und Online-Diensten. Die Schwachstellen konnten in der Folge gestopft werden. Doch zugleich führte das vor Augen, dass solche KI in den falschen Händen zu einer verheerenden Cyberwaffe werden kann.

Anthropic macht die vollen Möglichkeiten von Mythos nur ausgewählten Behörden und Unternehmen zugänglich. Für andere gibt es eine abgespeckte Version mit dem Namen Fable, der unter anderem die Cybersicherheitsfähigkeiten fehlen. Nach Warnungen, dass die KI-Modelle von den Zügeln befreit werden könnten, musste Anthropic auf Geheiß der US-Regierung den Zugang zu Mythos und Fable zeitweise sperren. Die Blockade wurde inzwischen aufgehoben. (dpa/eli)