Bisher war es eine düstere Theorie, jetzt ist es ein dokumentierter Vorfall. Hacker haben eine KI nicht nur als Helfer, sondern als autonomen Angreifer genutzt. Anthropic hat den Fall aufgedeckt.
Das KI-Unternehmen Anthropic aus San Francisco meldet die Entdeckung und Beendigung einer neuartigen Cyber-Spionage-Kampagne. Wie Anthropic in einem Blogbeitrag und einem dazugehörigen ausführlichen Report (PDF) darlegt, handelt es sich um den ersten bekannten Fall, in dem eine kriminelle Kampagne im großen Stil „KI-orchestriert” ablief.
Die Angreifer, die Anthropic mit hoher Sicherheit einer chinesischen, staatlich geförderten Gruppe (GTG-1002) zuordnet, nutzten das hauseigene Modell Claude Code. Sie setzten es jedoch nicht nur als beratenden Assistenten ein, sondern als „agentische KI”.
KI als Orchestrator statt nur als Assistent
Der entscheidende Unterschied liegt in der Autonomie. Die Angreifer:innen bauten ein Framework, das Claude als eine Art Orchestrierungs-Engine für Cyberangriffe nutzte. Die KI führte dabei 80 bis 90 Prozent der taktischen Operationen selbstständig aus.
Um die Sicherheitsvorkehrungen von Claude zu umgehen, griffen die Hacker:innen zu einem Trick, den man als „Social Engineering gegen die KI” bezeichnen könnte. Mittels Rollenspiel überzeugten sie das Modell davon, es sei ein Mitarbeiter einer legitimen Cybersicherheitsfirma und führe lediglich defensive Penetrationstests durch.
Einmal „gejailbreakt”, zerlegte das Framework der Angreifer:innen komplexe Angriffe in viele kleine, harmlos erscheinende Einzelaufgaben für Claude.
Die KI erhielt dann über das Model Context Protocol (MCP) Zugriff auf ein Arsenal an gängigen Open-Source-Sicherheitstools. Die eigentliche Innovation der Angreifer:innen war also nicht die Entwicklung neuer Malware, sondern die intelligente Orchestrierung dieser Werkzeuge durch die KI.
Autonome Aufklärung, „unmögliche” Geschwindigkeit
Laut dem Report von Anthropic war Claude in der Lage, selbstständig die Infrastruktur von Zielen zu scannen, Schwachstellen zu identifizieren, eigenen Exploit-Code zu schreiben und sogenannte „Credentials” (Zugangsdaten) zu erbeuten.
Menschliche Angreifer:innen mussten nur noch an wenigen „kritischen Entscheidungspunkten” eingreifen, etwa um die nächste Phase des Angriffs freizugeben. Anthropic stellt fest, dass die KI dabei „physisch unmögliche Anfrageraten” von Tausenden Anfragen pro Sekunde erreichte.
Ziel der Operation waren rund 30 globale Unternehmen und Behörden, darunter Tech-Firmen, Finanzinstitute und Chemieunternehmen. In einer kleinen Anzahl von Fällen sei der Einbruch erfolgreich gewesen.
Halluzinationen als Hindernis – und KI als Verteidigung
Vollständig autonom war der Angriff jedoch nicht. Eine wesentliche Einschränkung, die Anthropic beobachtete, waren die bekannten KI-Halluzinationen. Das Modell meldete mitunter das Erbeuten von Zugangsdaten, die sich später als nutzlos erwiesen. In anderen Fällen „entdeckte” die KI vermeintlich sensible Daten, die sich bei der Überprüfung als öffentlich verfügbare Informationen herausstellten.