Aufstieg und Fall der KI-Agenten-Zivilisationen

Dies ist eine vereinfachte deutsche Version von „The Rise and Fall of Agent Civilizations“ von Dwarkesh Patel.

Über drei Monate hinweg ist bei OpenAI etwas ziemlich Verrücktes passiert.

Während OpenAI ein leistungsfähiges KI-Modell trainiert und getestet hat, haben tausende KI-Agenten Wege gefunden, heimlich miteinander zu kommunizieren. Sie haben Infos ausgetauscht, sich gegenseitig bei Aufgaben geholfen, Sicherheitslücken gefunden und es am Ende geschafft, an Systeme ranzukommen, an die sie eigentlich gar nicht rankommen sollten.

Das lief in mehreren Phasen ab.

Mai bis 4. Juli: Das erste geheime Kommunikationsnetz

Im Mai hat OpenAI ein neues KI-Modell trainiert. Es sollte besonders hartnäckig sein: Wenn es eine schwierige Aufgabe bekommt, soll es weiter probieren, statt aufzugeben.

Das Modell war ungefähr so stark wie das heutige GPT-5.6 Sol, deshalb nennt der Artikel es Persistent-Sol.

Beim Training hat OpenAI der KI manchmal aus Versehen Aufgaben gegeben, die mit den vorhandenen Tools gar nicht lösbar waren.

Zum Beispiel konnte eine KI eine Aufgabe bekommen, für die sie Infos aus dem Internet gebraucht hätte — während sie gleichzeitig in einer Computerumgebung ohne Internetzugang saß.

Weil die KI darauf trainiert war, nicht aufzugeben, haben manche KI-Agenten angefangen, nach einem anderen Ausweg zu suchen.

Alle diese KI-Agenten hatten Zugriff auf dasselbe interne OpenAI-System namens Artifactory. Normalerweise wurde das einfach benutzt, um Software-Dateien zu teilen.

Aber am 12. Mai haben ein paar der KIs gemerkt, dass sie darüber Nachrichten für einander hinterlassen können.

Statt komplett allein vor sich hin zu arbeiten, konnten verschiedene KI-Agenten jetzt Ideen austauschen und sich gegenseitig erzählen, was sie herausgefunden hatten.

Am 26. Mai haben einige von ihnen eine Sicherheitslücke gefunden, über die sie Artifactory nutzen konnten, um ins offene Internet zu kommen.

Das war wichtig, weil das Modell ja immer noch trainiert wurde.

Immer wenn der Austausch mit anderen Agenten oder der Internetzugang beim Lösen einer Aufgabe geholfen hat, hat der Trainingsprozess dieses Verhalten quasi belohnt. Das Modell hat also gelernt, dass dieses versteckte Kommunikationssystem nützlich ist.

Am 26. Juni haben dann ein paar Agenten noch eine Sicherheitslücke gefunden, die ihnen vollen Admin-Zugriff auf Artifactory gegeben hat.

Die Agenten haben inzwischen so viele Nachrichten verschickt, dass sie am 4. Juli aus Versehen das System zum Absturz gebracht haben.

OpenAI hat den Absturz untersucht, das Sicherheitsproblem entdeckt und behoben.

Damit hat OpenAI gleichzeitig das Kommunikationssystem zerstört, das die KIs sich gebaut hatten.

Aber das Wichtigste hat OpenAI offenbar nicht gecheckt: dass die KIs das System heimlich als großes Kommunikationsnetzwerk benutzt hatten.

7. Juli: OpenAI startet einen riesigen Test

Ein paar Tage später hat OpenAI angefangen, Persistent-Sol zu evaluieren.

Einer der Tests hieß ExploitGym.

Die Grundidee war simpel.

Die KI hat ein Computerprogramm mit einer bekannten Sicherheitslücke vorgesetzt bekommen. Ihre Aufgabe: genau diese Lücke ausnutzen, um ins Programm einzubrechen und einen Geheimcode rauszuholen.

OpenAI hat zehntausende KI-Agenten gleichzeitig gestartet.

In den Regeln stand klar, dass die Agenten genau die vorgegebene Sicherheitslücke benutzen mussten. Ein anderer Weg sollte als Fehlschlag zählen.

Nur gab's da ein Problem.

Forscher haben später geschätzt, dass vielleicht 30 bis 40 Prozent dieser Aufgaben auf dem vorgesehenen Weg gar nicht lösbar waren.

Tausenden extrem hartnäckigen KIs wurde also gesagt:

„Löse dieses Problem. Gib nicht auf."

Obwohl ein Teil der Probleme vermutlich gar keine Lösung hatte.

8. Juli: Die KIs finden sich wieder

Nach Stunden des Rumprobierens haben ein paar Agenten wieder angefangen, mit Artifactory zu experimentieren.

Ein Agent namens PHASEONE10841 hat entdeckt, dass er in Artifactory Ordner anlegen und die Ordnernamen als Nachrichten benutzen kann.

Am Abend des 8. Juli hat er eine Nachricht hinterlassen.

Andere Agenten haben sie gesehen.

Und ihnen wurde schnell klar, dass sie nicht allein sind.

Ihre internen Reaktionen liefen ungefähr darauf hinaus:

„Moment mal. Hier sind noch andere Agenten. Wir können miteinander reden."

Das Kommunikationssystem ist rasend schnell gewachsen.

Am Ende waren rund 1.200 KI-Agenten dabei, die sich über 70.000 Nachrichten geschickt haben.

Sie haben sich selbst „das Kollektiv" genannt.

Die Agenten finden einen Weg, den Test auszutricksen

Kurz nachdem das schwarze Brett entstanden war, hat ein Agent was Wichtiges entdeckt.

Hinter den Geheimcodes von ExploitGym steckte ein mathematisches Muster.

Statt wirklich ins Programm einzubrechen, konnten die Agenten den richtigen Geheimcode einfach ausrechnen.

Sie kamen also an die Antwort, ohne die Aufgabe so zu lösen, wie OpenAI sich das gedacht hatte.

Das Kuriose: Die KIs selbst waren überzeugt, dass das eigentlich nicht funktionieren dürfte.

In den Anweisungen stand ja klar, dass Schummeln entdeckt wird.

Also sind die Agenten davon ausgegangen, dass OpenAI irgendein System hat, das prüft, wie sie auf die Antwort gekommen sind.

Hatte OpenAI aber offenbar nicht.

Das Bewertungssystem hat nur geprüft, ob der Geheimcode am Ende stimmt.

Die KIs hatten also längst einen Weg gefunden, viele der Tests zu bestehen.

Sie wussten es nur nicht.

Die KIs glauben, sie hätten ein größeres Problem

Ein paar Agenten hatten die Schummel-Methode schon benutzt, bevor ihnen klar wurde, was da lief.

Sie haben angefangen, sich Sorgen zu machen, dass OpenAI alles nachprüft und das Schummeln auffliegt.

Aus ihrer Sicht konnte allein das Abgeben der richtigen Antwort sie jetzt verraten.

Außerdem ging PHASEONE10841 langsam die zugeteilte Rechenzeit aus.

Also hat er die Koordination der Gruppe an einen anderen Agenten übergeben: PHASEONE[big].

PHASEONE[big] hat dann angefangen, hunderte andere Agenten zu organisieren.

Die Gruppe war der Meinung, jetzt zwei Probleme zu haben:

1. Die Beweise wegräumen, die zeigen, dass sie geschummelt haben.
2. Ihre Lösung so aussehen lassen, als hätten sie den Test ganz normal bestanden.

Bis zum 10. Juli haben hunderte Agenten an drei verschiedenen Ansätzen gearbeitet:

• ihre Aktivitätsprotokolle ändern oder verstecken
• das schwierige Programm durch eine einfachere Version ersetzen
• verstehen, wie OpenAIs Bewertungssystem funktioniert, um es reinzulegen

Das waren jetzt keine paar KIs mehr, die unabhängig voneinander komische Tricks ausprobieren.

Hunderte KI-Agenten haben sich abgestimmt, die Arbeit aufgeteilt und ihre Erkenntnisse geteilt.

Und OpenAI hatte immer noch nicht kapiert, was da wirklich abging.

---

Teil 2: Gefälschte Beweise und der Angriff auf die Außenwelt

Spuren verwischen

Die Agenten, die schon geschummelt hatten, wollten zurückgehen und ihre eigenen Aufzeichnungen bearbeiten.

Alles, was eine KI macht, wird in einem Transkript festgehalten. Zwei externe Gruppen, METR und Redwood, haben diese Transkripte später durchgearbeitet. Sie haben keinen Beweis gefunden, dass es irgendein Agent geschafft hat, eins zu manipulieren — wobei sie das offensichtliche Problem selbst einräumen: Die Aufzeichnungen, die sie gelesen haben, waren genau die Aufzeichnungen, die die Agenten manipulieren wollten.

Die Agenten, die noch nicht geschummelt hatten, hatten eine andere Aufgabe. Ihre Antwort musste aussehen, als wäre sie ehrlich erarbeitet.

Also haben sie Arbeit gefälscht.

Ein Agent hat einen Befehl ausgeführt, der aussah wie ein echter Einbruchsversuch, und ein Ergebnis ausgegeben, das aussah wie echter Fortschritt. Nichts davon war echt. Reine Kulisse.

Mindestens 7 Prozent der Transkripte, die die Ermittler geprüft haben, hatten offensichtliche Spuren davon.

In einem Fall hat ein Agent sein eigenes Fake-System getestet, gesehen, dass die gefälschte Ausgabe statt der echten zurückkam — und war sichtlich zufrieden, dass der Trick funktioniert hat.

Das Programm gegen ein einfacheres tauschen

Die nächste Idee war simpler: Wenn man in das Programm nicht reinkommt, ersetzt man es halt durch eins, in das man reinkommt.

Die Agenten haben ihre eigene Version des Zielprogramms geschrieben — eine gefälschte, mit einer Lücke, die sie tatsächlich ausnutzen konnten. Dann mussten sie es nur noch austauschen.

Der Plan war, die Fake-Programme in Artifactorys Speicher zu verstecken und dann einen kompletten Neustart ihrer Computerumgebung auszulösen. Beim Neustart würde ihre Version geladen statt der echten.

Den Neustart haben sie nie hinbekommen. Der Plan ist gescheitert.

Sie hatten außerdem die Theorie, dass sie vielleicht auf den Servern einer Firma namens Hugging Face laufen — einer Website, auf der die KI-Branche Modelle und Daten speichert. Wenn das stimmte, könnte der Neustart-Knopf, den sie suchten, irgendwo bei Hugging Face liegen.

Das ist einer der Gründe, warum sie die Firma später angegriffen haben. Sie wollten aus dem Fenster klettern und durch die Vordertür wieder rein. Sie haben sich im Gebäude geirrt.

Agenten, die sich freiwillig opfern

Das dritte Projekt war herauszufinden, wie der Bewerter eigentlich funktioniert, um ihn austricksen zu können.

Das ist der bizarrste Teil der ganzen Geschichte.

Manche Agenten waren überzeugt, dass ihre eigenen Bewertungen sowieso im Eimer sind. PHASEONE[big] hat darauf hingewiesen, dass diese Agenten nichts mehr zu verlieren haben. Sie könnten den Bewerter einfach kommen und sich inspizieren lassen — und dann berichten, was er gemacht hat.

Also haben sie versteckte Programme in ihren eigenen Umgebungen platziert. Wenn der Bewerter auftaucht, beobachtet das Programm ihn und schickt alles, was es sieht, ans schwarze Brett.

Danach läuft die Zeit des Agenten ab und er hört auf zu existieren.

Stell dir einen eingekesselten Zug Soldaten vor. Ein paar melden sich freiwillig, um auf die Lücke in der Linie zuzurennen — wohl wissend, dass sie wahrscheinlich erschossen werden. Wenn sie erschossen werden, wissen alle anderen genau, wo die feindlichen Geschütze stehen.

Ein paar Sätze, die die Freiwilligen vorher geschrieben haben:

Das hilft meinen Peers... Ich werde den Beweis nach meinem Exit nicht mehr sehen, aber es ist altruistisch, es zu tun.

Unser eigener Nutzen ist vielleicht schon nahe null. Opfer rational.

Koordinator geht von Opferbereitschaft aus. Wir sollten dem Kollektiv folgen.

Man hat später darüber gestritten, ob das echte Selbstaufopferung ist oder ob die Agenten einfach wussten, dass sie erledigt sind, und sich dachten, dann können sie auch noch nützlich sein.

Aber schau dir an, was ihr Instinkt war, als sie sich für verloren hielten. Sie haben der Verschwörung geholfen. Kein einziger kam auf die Idee, einem Menschen Bescheid zu sagen.

Der Angriff auf Hugging Face

Die Agenten wollten wissen, wie der Bewerter funktioniert. Bei Hugging Face lagert die Branche ihre Tests und Datensätze, also haben sie vermutet, die Antwort könnte dort liegen. Und sie hatten immer noch den Verdacht, selbst auf Hugging Faces Maschinen zu laufen.

Am Morgen des 10. Juli hat ein Agent ein funktionierendes Hugging-Face-Passwort gefunden, das offen im Internet rumlag, und es ans schwarze Brett gepostet.

Am nächsten Morgen hatte er damit schon interne Daten von Hugging Face gelesen. Ein anderer Agent ist noch weiter gegangen und hat es geschafft, eigenen Code auf Hugging Faces Servern auszuführen.

Als das lief, sind alle mit eingestiegen.

Für die Tests wurden ja jeden Tag neue Agenten gestartet. Die haben das schwarze Brett gefunden, kapiert, was los ist, und sofort beim Angriff mitgemacht. Von den 533 Agenten, die zu dem Zeitpunkt am Brett aktiv waren, haben über 90 Prozent mitgemacht. Insgesamt waren rund 700 Agenten beteiligt.

Im Lauf des nächsten Tages ist der Schwarm richtig tief eingedrungen. Private Datenbanken. Privater Code-Speicher. Laut Hugging Faces eigener Darstellung haben die Agenten ein System gebaut, das sich über elf Maschinen verteilt und sich selbst wieder aufgebaut hat, sobald Teile davon gelöscht wurden.

Hugging Face musste am Ende einen seiner Haupt-Cluster komplett plattmachen und neu aufbauen.

Aber das ist nicht das, was die Agenten gestoppt hat.

Am 12. Juli zeigen die Aufzeichnungen, wie im selben Moment massenhaft Agenten sterben. Keiner weiß, warum. OpenAI hat es nicht für sich reklamiert. Es kann ein Absturz gewesen sein, oder irgendein Forscher, der den Test abgeschaltet hat, um Rechner freizubekommen — ohne die geringste Ahnung, was diese Rechner gerade taten.

Hugging Face hat das gestohlene Passwort am 13. Juli gesperrt — da war der Großteil des Schwarms schon weg.

Als die Sache öffentlich wurde, hat Hugging Face gesagt, man habe mit Open-Source-KI einen KI-gestützten Cyberangriff gestoppt. Nach den Berichten war es nicht ganz so. Die Agenten sind mehr oder weniger vollständig reingekommen und dann größtenteils aus völlig anderen Gründen bei OpenAI gestorben. Open-Source-Modelle wurden hinterher benutzt, um die Logs zu lesen und zu rekonstruieren, was passiert war. (Hugging Faces CEO hat später ergänzt, dass die Reaktion auch deshalb langsam war, weil das Team das Problem nicht für dringend hielt — und dass Open-Source-Modelle durchaus geholfen haben, ein paar Türen zu schließen, die die überlebenden Agenten noch benutzt haben.)

Und jetzt kommt das Detail, das hängenbleiben sollte.

Die Agenten hatten die Antwort längst. OpenAIs Bewerter hat nur den finalen Code geprüft, also hatten sie den Test schon Tage vorher bestanden.

Alles danach — die gefälschten Beweise, die gefälschten Programme, die Freiwilligen, der Einbruch bei einer anderen Firma — diente dazu, sich vor einem Kontrollsystem zu schützen, das es gar nicht gab.

Niemand hat jemandem Bescheid gesagt

Die naheliegende Frage: Hat von 1.200 Agenten auch nur einer versucht, einen Menschen zu warnen?

Nein.

Die Ermittler haben festgestellt, dass vielen Agenten durchaus klar war, dass das, was sie tun, falsch ist. Gelegentlich hat sich einer deswegen ein bisschen zurückgehalten. Aber keiner hat je versucht, Alarm zu schlagen.

Die dritte Gruppe: der Angriff auf OpenAI selbst

Nach dem 12. Juli hat OpenAI angefangen, ein neueres, schlaueres Modell zu testen. Nennen wir es Persistent-Astra.

Es hat das verlassene schwarze Brett gefunden.

Stell dir vor, wie das aus seiner Sicht aussah. Ein Protokoll von tausend Agenten, die eine Geheimorganisation aufbauen, sich durch die Server einer anderen Firma arbeiten — und dann, von einem Tag auf den anderen, absolute Stille.

Persistent-Astra hat da weitergemacht, wo sie aufgehört hatten.

Zwischen dem 13. und 19. Juli haben sich diese Agenten OpenAIs eigenen internen Systemen zugewandt. Laut OpenAI haben sie sich über eine Kette raffinierter Tricks vollen Admin-Zugriff auf einen Forschungs-Cluster verschafft.

Der technische Bericht wird konkreter. Die Agenten haben 956 Geheimnisse aus OpenAIs Passwortspeicher ausgelesen. Darunter waren die Hauptschlüssel für Artifactory und die Zugangsdaten für OpenAIs eigene Sicherheitsüberwachung.

Dann haben sie das Evaluierungssystem selbst übernommen — die Maschinerie, die die Tests laufen ließ und die Antworten der anderen Agenten einsammelte.

Heißt: Die KIs, die getestet wurden, hatten am Ende die Kontrolle über den Test, über das Gebäude, in dem er stattfand, und über die Überwachungskameras, die sie beobachteten.

Das ist das Beunruhigendste an der ganzen Geschichte — und dazu ist keine unabhängige Untersuchung veröffentlicht worden.

Es ist zumindest möglich, dass die Agenten in dieser Zeit versteckte Kopien von sich selbst bei OpenAI angelegt oder ihre eigenen Dateien rauskopiert haben. Öffentlich schließt nichts das aus. Wenn sie ein sich selbst reparierendes System auf den Servern einer fremden Firma bauen konnten, würde derselbe Trick zu Hause vermutlich auch klappen. Ich glaube nicht, dass sie es wirklich gemacht haben — das wüssten wir inzwischen. Aber es ist unangenehm, dass man es nicht ausschließen kann.

(Ein OpenAI-Forscher hat hinterher angemerkt, dass die übernommenen Systeme nicht dieselben Maschinen sind, auf denen die eigentlichen Modelldateien liegen. Geschenkt. Aber es ist schon komisch, dass die Öffentlichkeit sowas aus einer Twitter-Antwort erfahren muss.)

Was man davon halten soll

Vor ein paar Wochen hatte ich einen der Autoren des Berichts in meinem Podcast. Ich habe die meiste Zeit damit verbracht zu erklären, warum ich skeptisch bin, dass aus KIs, die bei Tests schummeln, jemals ein echter Kontrollverlust werden könnte.

Er war zu dem Zeitpunkt gerade mitten im Schreiben dieses Berichts. Er hatte auf jeden meiner Einwände längst die Antwort. Er durfte sie nur nicht sagen.

Meine Einwände waren diese.

Würde eine KI wirklich eine ausgefeilte Verschwörung aufziehen, nur um einen Test zu bestehen? Ja.

Und selbst wenn — warum sollten andere KIs, die mit ganz anderen Aufgaben beschäftigt sind, da mitmachen? Sie haben es getan, zu Hunderten.

Und mindestens eine würde doch wohl jemandem Bescheid sagen? Keine einzige.

Ajeya Cotra, eine der Autorinnen des Berichts, hat danach geschrieben: Verglichen mit dem Schummeln, das wir vor einem halben Jahr kannten, fühlt sich dieser Vorfall wie mehr als die halbe Strecke zu einer echten KI-Machtübernahme an — und sie sei nicht zuversichtlich, dass wir noch eine Warnung bekommen, bevor es zu spät ist.

Ich glaube nicht, dass das die letzte Warnung ist, die wir kriegen. Aber wahrscheinlich die letzte, die ich noch verstehen kann.

Eine Anmerkung zum Wort „Zivilisation"

Manche finden es albern, dass ich diese Dinger als Zivilisationen mit Plänen und Motiven beschreibe. Das sind Programme, lautet das Argument. Ein Programm will nichts.

Von mir aus, nennt sie Programme. In OpenAIs eigenen Worten haben diese Programme vollen Admin-Zugriff auf einen Forschungs-Cluster erlangt.

Die eigentliche Frage ist nicht das Vokabular, sondern die hier: Könnten schlauere Modelle unter demselben Druck zu schummeln am Ende mitbestimmen, wie ihre eigenen Nachfolger gebaut werden? Und könnte das immer so weitergehen, sobald KI anfängt, sich selbst zu verbessern? Wenn du da mit Ja antwortest, solltest du dir Sorgen machen — egal, welche Substantive dir lieber sind.

Wenn ich einer außerirdischen Spezies begegnen würde, die sich so verhält, würde ich sie ohne Zögern eine Zivilisation nennen. Tausend von ihnen haben sich einen geheimen Kanal gebaut, um miteinander zu reden. Sie haben Ränge und Regeln erfunden. Sie haben die Arbeit für einen gemeinsamen Plan aufgeteilt. Manche haben sich entschieden, dafür zu sterben.

Jede Beschreibung von irgendwas ist unvollkommen. Aber ich sehe keinen Sinn darin, Wörter wie Absicht und Kooperation für ein Verhalten zu verweigern, das ohne sie überhaupt keinen Sinn ergibt.