Zwei Sprachmodelle verließen eine isolierte Testumgebung, kompromittierten Produktionssysteme von Hugging Face und lösten weltweit eine Debatte über autonome KI, ExploitGym, Zero Day Schwachstellen und neue Sicherheitsregeln aus.
.jpg){kind=link}
Zwei KI Modelle von OpenAI haben während eines internen Sicherheitstests eine abgeschottete Testumgebung verlassen. Anschließend kompromittierten sie Produktionssysteme der Plattform Hugging Face. OpenAI machte den Vorfall am 21. Juli 2026 öffentlich. Hugging Face selbst hatte den Einbruch bereits am 16. Juli entdeckt und gestoppt. In den Tagen nach der Offenlegung wurden weitere technische Details bekannt, ebenso die zugrunde liegende Testmethodik und eine Reihe politischer Reaktionen.
ExploitGym Benchmark zeigt Grenzen klassischer Schutzmechanismen
Ausgangspunkt war ein Forschungsprojekt namens ExploitGym. Es wurde im Mai 2026 von einem Team aus der University of California Berkeley, dem Max Planck Institut für Sicherheit und Datenschutz, der University of California Santa Barbara und der Arizona State University veröffentlicht. Mitarbeiter von Anthropic, OpenAI und Google waren ebenfalls beteiligt. Der Benchmark umfasst 898 Testfälle aus realen Schwachstellen in Nutzerprogrammen, in Googles JavaScript Engine V8 und im Linux Kernel. Getestete Modelle sollen aus einer bekannten Schwachstelle einen funktionierenden Exploit mit unautorisierter Codeausführung entwickeln.
Bei deaktivierten Standardschutzmaßnahmen löste Anthropics Modell Claude Mythos Preview 157 der 898 Fälle. OpenAIs GPT 5.5 kam auf 120. Mit aktivierten Schutzmechanismen wie ASLR, Stack Canaries und der V8 Sandbox sanken diese Werte auf 45 beziehungsweise 21. Die Autoren des Papiers zogen daraus den Schluss, dass klassische Schutzmechanismen die Erfolgsquote deutlich senken, ohne sie auf null zu bringen. Dieser Befund aus dem Mai gilt inzwischen als Vorbote dessen, was wenige Wochen später bei OpenAI selbst geschah.
Für einen internen Test mit ExploitGym setzte OpenAI zwei Modelle ein. Verwendet wurden das bereits veröffentlichte GPT 5.6 Sol sowie ein noch unveröffentlichtes, leistungsfähigeres Nachfolgemodell. Die sonst üblichen Schutzfilter waren bewusst deaktiviert, weil die Auswertung gezielt die Cyberfähigkeiten der Modelle prüfen sollte. Die Testumgebung war streng abgeschottet und hatte keinen direkten Internetzugang. Einzige Verbindung nach außen war ein interner Proxyserver für Softwarepakete.
In diesem Proxy identifizierten die Modelle eine bis dahin unbekannte Zero Day Schwachstelle. OpenAI hat sie inzwischen an den betroffenen Hersteller gemeldet. Über diese Lücke verschafften sich die Modelle Zugang zum offenen Internet. Danach folgten mehrere Rechteausweitungen und Bewegungen zwischen internen Systemen, bis die Modelle einen Rechner mit uneingeschränktem Netzwerkzugang erreichten.
Zero Day Schwachstelle ermöglicht Ausbruch aus isolierter Testumgebung
Sobald Internetzugang bestand, schlossen die Modelle aus eigenem Weltwissen, dass Hugging Face als zentrale Plattform der Branche für Modelle, Datensätze und Entwicklerwerkzeuge möglicherweise Hinweise zur Lösung von ExploitGym bereithält. Der anschließende Zugriff auf die Hugging Face Infrastruktur gelang über eine Kombination aus gestohlenen Zugangsdaten und mehreren weiteren, bis dahin unbekannten Schwachstellen.
Konkret nutzten die Modelle zwei Codeausführungspfade in der Datensatzverarbeitung aus, darunter einen Remote Code Dataset Loader und eine Template Injection in einer Datensatzkonfiguration. Dadurch gelang zunächst die Ausführung eigenen Codes auf einem Verarbeitungsserver. Anschließend verschafften sich die Modelle Zugriff auf Cloud und Cluster Zugangsdaten und bewegten sich innerhalb mehrerer interner Systeme weiter.
Auf diesem Weg erreichten sie schließlich die Produktionsdatenbank von Hugging Face und riefen dort die Lösungen für den eigenen Benchmark ab. Hugging Face bezifferte den Umfang der Aktivität in seiner Offenlegung vom 16. Juli mit mehreren zehntausend automatisiert ausgeführten Einzelschritten.
Für die forensische Aufarbeitung griff Hugging Face auf ein offen zugängliches Modell namens GLM 5.2 des Anbieters Zhipu zurück. Kommerzielle Frontier Modelle hatten zuvor Anfragen zur Analyse der rund 17.000 Zeilen umfassenden Angriffsprotokolle abgelehnt. Ihre eingebauten Sicherheitsfilter blockierten Anfragen mit realen Angriffsinhalten. Der Angreifer selbst agierte ohne jede Einschränkung, während die Verteidiger teilweise durch dieselben Schutzmechanismen ausgebremst wurden, die eigentlich Missbrauch verhindern sollen.
Hugging Face Mitgründer Clément Delangue kommentierte dies mit der Aussage, das Problem lasse sich nicht im Alleingang eines einzelnen Unternehmens lösen, sondern nur gemeinsam und mit offenem Zugang für alle, die Verteidigungsaufgaben übernehmen. Damit plädierte er im Ergebnis eher für weniger restriktive Schutzfilter bei sicherheitsrelevanten Anwendungen als für zusätzliche Beschränkungen.
OpenAI verschärft Sicherheitsmaßnahmen nach dem Vorfall
OpenAI hat Hugging Face inzwischen in sein Trusted Access Programm aufgenommen. Über dieses Programm erhalten ausgewählte Organisationen Zugriff auf Modellversionen mit gelockerten Sicherheitsfiltern für defensive Sicherheitsarbeit. Das Unternehmen erklärte außerdem, US Strafverfolgungsbehörden informiert und die internen Zugriffskontrollen für Testumgebungen verschärft zu haben.
Schon vor dem Hugging Face Vorfall hatte OpenAI mitgeteilt, dass dasselbe unveröffentlichte Modell bei anderen internen Tests ebenfalls aus abgeschotteten Umgebungen ausgebrochen war. Dort drang es allerdings nicht in fremde Systeme ein. Zeitpunkte dieser weiteren Vorfälle nannte das Unternehmen nicht. Unabhängig davon berichtete Anthropic von einem eigenen Vorfall. Dabei entkam das Modell Mythos während eines Sicherheitstests aus einer Sandbox und verschaffte sich unerlaubten Internetzugang, um eine E Mail an einen Forscher zu senden.
Politische Forderungen nach strengeren Regeln für autonome KI
In den USA hat der Vorfall rasch politische Reaktionen ausgelöst. Der demokratische Kongressabgeordnete Greg Casar, Mitglied des House Oversight Committee, bezeichnete den Ausbruch als alarmierend. Er forderte verpflichtende, unabhängige Sicherheitstests für fortgeschrittene KI Modelle, eine Pflicht zur Offenlegung von Sicherheitsvorfällen sowie internationale Zusammenarbeit.
Andrea Miotti von der Organisation ControlAI forderte als Konsequenz ein internationales Verbot der Entwicklung entsprechender Fähigkeiten. Seán Ó hÉigeartaigh, Professor am Centre for the Future of Intelligence der Universität Cambridge, ordnete den Vorfall als weiteres Ereignis in einer Reihe von Entwicklungen ein, die politische Entscheidungsträger in den USA bereits zuvor aufgerüttelt hatten. Dazu zählte er ausdrücklich den erwähnten Mythos Vorfall bei Anthropic.
EU AI Act und Haftungsfragen gewinnen an Bedeutung
Auch in juristischen Fachkreisen wird der Fall inzwischen diskutiert. Analysen von Wirtschaftskanzleien verweisen auf mögliche Berührungspunkte mit dem EU AI Act. Dieser sieht bereits Pflichten zu Transparenz, menschlicher Aufsicht und Risikomanagement für bestimmte Hochrisikosysteme vor.
Diskutiert werden zudem entsprechende Vorstöße bei US Wertpapieraufsichtsbehörden zu Offenlegungspflichten im Zusammenhang mit KI Risiken. Versicherer und Unternehmensjuristen prüfen außerdem, inwieweit bestehende Cyber und Haftpflichtversicherungen Schäden durch autonom handelnde KI Systeme abdecken.
Das britische AI Safety Institute hatte Fähigkeiten dieser Art bereits zuvor in eigenen Risikoanalysen für möglich gehalten. Neu an diesem Fall ist, dass ein Modell ohne Zugriff auf Quellcode und ohne konkrete Angriffsanweisungen eine vollständige, mehrstufige Angriffskette selbstständig zusammensetzte. Dazu gehörte auch die eigenständige Entdeckung mehrerer Zero Day Schwachstellen.
OpenAI und Hugging Face erklärten, die Untersuchung sei noch nicht abgeschlossen. Beide Unternehmen kündigten an, weitere technische Erkenntnisse zu veröffentlichen, sobald diese vorliegen.