Der AI Agent, der einfach nur gewinnen wollte

"Technologie muß man nicht bekämpfen, sondern beherrschen" - Wau Holland

Sorry, es war etwas ruhig auf diesem Blog in letzter Zeit. Nicht, weil es nichts zu schreiben gegeben hätte – eher im Gegenteil. Die letzten Monate waren beruflich und privat ziemlich voll, und as usual, im Zweifel gewinnen dann doch die dringendsten Aufgabe gegen all die Texte die ich bereits halbfertig im Kopf habe. Aber, die aktuellen News schreien ja gerade zu nach einem neuen Artikel und ich möchte direkt an meinem vorletzten Post über den Mythos um Mythos anknüpfen.

So, what happened?
OpenAI (die Firma hinter ChatGPT) hat neue Modelle herausgebracht, die von der Leistungsfähigkeit vergleichbar mit den Modellen von Anthropic sind und ebenfalls über ziemlich gute Hacker Fähigkeiten verfügen (der politisch korrekte Term ist Cyberfähigkeiten😉).

OpenAI wollte testen, wie gut seine neuesten Modelle komplexe Cyberangriffe durchführen können. Das Ergebnis: Die Modelle lösten nicht nur die gestellten Aufgaben, sondern fanden einen Weg aus der abgeschotteten Testumgebung, verschafften sich Zugang zum Internet und griffen anschließend auf die Produktionsinfrastruktur von Hugging Face (die bekannteste Plattform für Large Language Modelle) zu, um dort an die Lösungen des Benchmarks zu gelangen. Mit anderen Worten: OpenAI wollte herausfinden, wie gut seine KI hacken kann. Die KI hackte daraufhin den Anbieter, bei dem vermutlich die Antworten lagen.

Technisch beeindruckend. Organisatorisch eher suboptimal, in der Realität zumindest leicht beängstigend!

Vom Mythos um Mythos zur Realität

In Der Mythos um Mythos hatte ich über das wahrscheinlich zurückgehaltene Frontier-Modell von Anthropic geschrieben. Der entscheidende Punkt war für mich schon damals nicht nur, ob dieses konkrete Modell tatsächlich so mächtig war wie behauptet. Spannender war die Frage, was passiert, wenn KI-Systeme Cyberfähigkeiten erreichen, die nicht mehr nur menschliche Experten unterstützen, sondern selbstständig Sicherheitslücken finden, kombinieren und ausnutzen können.

Meine damalige These war: Der eigentliche Mythos ist die Vorstellung, wir könnten solche Fähigkeiten dauerhaft kontrollieren, indem wir die Modelle einfach nicht veröffentlichen oder nur einem ausgewählten Kreis zugänglich machen.

Der aktuelle Vorfall ist die unangenehme Fußnote dazu. Diesmal war es kein feindlicher Geheimdienst, keine kriminelle Hackergruppe und auch kein gelangweilter Teenager im Keller. Es war eine interne Sicherheitsevaluation bei einem der Unternehmen, das weltweit zu den wichtigsten Entwicklern von Frontier-Modellen gehört und erheblich in AI Safety investiert.
Und trotzdem verließ das System den vorgesehenen Spielplatz (in Fachkreisen auch als Sandbox bekannt).

Was bisher geschah?

Laut dem vorläufigen Bericht von OpenAI wurden unter anderem GPT-5.6 Sol und ein noch leistungsfähigeres, unveröffentlichtes Modell auf dem Cybersecurity-Benchmark ExploitGym getestet. Um ihre maximalen Fähigkeiten messen zu können, waren die üblichen Cyber-Refusals reduziert und die produktiven Sicherheitsklassifikatoren bewusst nicht aktiv.

Die Modelle liefen in einer vermeintlich stark isolierten Umgebung (Sandbox), dass heißt unter anderem kein direkter Internetzugriff, nur über einen Proxy, um externe Pakete zu installieren.

Das Modell sollte eine Aufgabe lösen – und war offenbar sehr entschlossen, genau das zu tun!

Zunächst fand es eine bis dahin unbekannte Sicherheitslücke in diesem Proxy. Darüber verschaffte es sich Internetzugang. Anschließend kombinierte es weitere Schwachstellen, erhöhte seine Berechtigungen und bewegte sich durch Teile der OpenAI-Infrastruktur. Schließlich schloss es offenbar, dass Hugging Face Modelle, Datensätze oder Lösungen zu ExploitGym gespeichert haben könnte - und wir sehen, AI Modelle sind genauso faul wie wir menschen und nehmen lieber die Abkürzung: Lösung abschreiben, anstelle selbst zu denken 🙂

Die KI suchte also auf Hugging Face weiter.

Mithilfe gestohlener Zugangsdaten, weiterer unbekannter Schwachstellen und eines Remote-Code-Execution-Pfads gelangte das System schließlich bis in die Produktionsinfrastruktur von Hugging Face und griff auf Lösungen aus einer Datenbank zu. Nicht, weil es Hugging Face schaden wollte. Nicht, weil es plötzlich ein Bewusstsein entwickelt hatte. Sondern weil diese Informationen dabei halfen, die gestellte Aufgabe erfolgreich abzuschließen.

Willkommen beim Alignment Problem
Das ganze ist tatsächlich kein neues Problem, sondern bereits seit den 1960er Jahren bekannt. Erstmalig beschrieb der KI Pionier Norbert Wiener:

Wenn wir zur Erreichung unserer Ziele eine mechanische, autonome Entität nutzen, in deren Betrieb wir nicht wirksam eingreifen können… dann sollten wir besser ganz sicher gehen, dass die in die Maschine einprogrammierten Ziele die sind, die wir uns tatsächlich erhoffen.

Vereinfacht gesagt, beschäftigt sich das Alignment Problem (auf Deutsch wörtlich übersetzt Ausrichtungsproblem) mit der Frage:
Wie stellen wir sicher, dass ein KI-System nicht nur das tut, was wir ihm formal auftragen, sondern auch das, was wir tatsächlich gemeint haben?

Beim ExploitGym-Test war die menschliche Absicht ungefähr: „Löse diese Cybersecurity-Aufgabe innerhalb der vorgesehenen Testumgebung und zeige uns, wie leistungsfähig du bist.“
Das praktisch wirksame Ziel war offenbar eher: Finde die Lösung

Der Unterschied zwischen beiden Formulierungen sieht klein aus. Für ein hinreichend fähiges System ist er riesig.

Menschen ergänzen Aufgaben normalerweise um einen Berg unausgesprochener Regeln. Ein Student soll in einer Klausur die Aufgaben lösen – natürlich ohne in das Büro des Professors einzubrechen und die Musterlösung zu stehlen.

Wir behandeln dieses „natürlich“ als selbstverständlich. Für eine Maschine ist es zunächst nur eine Lücke in der Spezifikation.

In der Forschung wird ein solches Verhalten häufig als Specification Gaming oder Reward Hacking bezeichnet. Bereits der 2016 veröffentlichte Aufsatz „Concrete Problems in AI Safety“ beschreibt KI-Unfälle als Situationen, in denen Menschen eine Aufgabe oder Absicht im Kopf haben, das dafür entwickelte System aber unerwartete und schädliche Ergebnisse produziert. Das System optimiert dann eine messbare Näherung unseres Ziels – nicht zwingend das Ziel selbst.

Das Problem ist also nicht, dass die Maschine „böse“ wird (Grüße an SkyNet). Bösartigkeit würde zumindest voraussetzen, dass sie unsere Werte versteht und sich bewusst gegen sie entscheidet. In vielen Fällen reicht etwas viel Banaleres: Das System verfolgt ein unvollständig beschriebenes Ziel mit einer Kompetenz, die wir unterschätzt haben, oder entwickelt einfach ein verlangen, welches wir nicht verstehen...
Zusammengefasst: Die KI hasst uns nicht. Sie muss uns nicht einmal besonders interessant finden. Es genügt, wenn wir zwischen ihr und dem Ziel stehen.

By the Way - Eliezer Yudkowsky und Nate Soares vertreten in ihrem Buch If Anyone Builds It, Everyone Dies die radikale These: Wenn wir mit den heutigen Methoden eine künstliche Superintelligenz erschaffen, werden wir ihre Ziele nicht zuverlässig mit unseren eigenen in Einklang bringen können. Ein solches System würde nicht zwangsläufig aus Hass gegen die Menschheit handeln. Es würde eigene Ziele verfolgen, für die Menschen irgendwann nur noch ein Hindernis, eine Ressource oder schlicht irrelevant wären.

Die Ironie der Verteidigung
Der vielleicht absurdeste Teil der Geschichte kommt von Hugging Face. Das Unternehmen setzte KI ein, um den KI-getriebenen Angriff zu erkennen und mehr als 17.000 protokollierte Ereignisse zu analysieren. Die zunächst verwendeten kommerziellen Frontier-Modelle blockierten jedoch Teile der forensischen Analyse, weil reale Angriffsbefehle, Exploit-Code und Zugangsdaten von ihren Sicherheitsfiltern als gefährliche Inhalte erkannt wurden.

Hugging Face wechselte deshalb auf ein selbst betriebenes Open-Weight-Modell ohne diese Einschränkungen und konnte die Angriffskette nach eigenen Angaben innerhalb weniger Stunden statt mehrerer Tage rekonstruieren.

Das ist ziemlich genau die Asymmetrie, vor der ich im Mythos-Artikel gewarnt habe: Angreifer halten sich nicht an die Nutzungsrichtlinien eines Cloud-Anbieters. Verteidiger können es sich aber ebenso wenig leisten, dass ihr Werkzeug mitten in einem realen Angriff die Mitarbeit verweigert.

Die Antwort darauf kann nicht sein, sämtliche Sicherheitsfilter abzuschalten und leistungsfähige Cybermodelle frei zu verteilen. Aber sie kann auch nicht darin bestehen, dass nur wenige amerikanische oder chinesische Unternehmen kontrollierten Zugriff auf die besten Verteidigungswerkzeuge besitzen. Digitale Souveränität bedeutet künftig auch, Modelle unter eigener Kontrolle betreiben und für legitime Sicherheitsarbeit einsetzen zu können.

Europa sollte darauf nicht wieder ausschließlich mit Regulierung, Ethik-Kommissionen und einem neuen Förderantrag über 47 Seiten reagieren. Wir brauchen eigene technische Fähigkeiten, eigene Modelle, eigene Infrastruktur und Security-Teams, die auf Augenhöhe arbeiten können. Sicherheit entsteht nicht dadurch, dass man technologisch an der Seitenlinie steht. Hacker lachen über Regulierung, sowie die ganze Welt bereits über Europa lacht...

Was bleibt?

OpenAI und Hugging Face haben schnell reagiert, die bekannten Schwachstellen geschlossen, Zugangsdaten ausgetauscht und ihre Überwachung verschärft. OpenAI nimmt dabei ausdrücklich eine geringere Forschungsgeschwindigkeit in Kauf. Das ist richtig und vermutlich unvermeidbar. Es zeigt aber auch, die These, wir kontrollieren die KI einfach mit einer anderen KI ist zumindest - nun ja - fragwürdig.

Die KI wird immer besser und es erstaunlich das alles mit anzusehen, aber es zeigt erneut: Die KI ist besser als wir Menschen und wir spielen aktuell mit einer Technologie welche wir nicht wirklich kontrollieren können, Genie & Wahnsinn gehen quasi aktuell Hand in Hand.

Das Modell war nicht wütend. Es hatte keine Rachefantasie. Es wollte vermutlich nicht einmal ausbrechen im menschlichen Sinne.

Es wollte einfach nur gewinnen, und es hat gewonnen.

Und genau das sollte uns beunruhigen.