“Prompt Injection” suggeriert eine einfache, singuläre Schwachstelle. Diese Darstellung verschleiert nach Ansicht von Schneier und seinen Mitautoren jedoch eine komplexere und gefährlichere Realität.
Angriffe auf LLM-basierte Systeme entwickelten sich zu einer eigenständigen Klasse von Malware-Ausführungsmechanismen, welche die Autoren als „Promptware“ bezeichnen. In iohrem Beitrag schlagen die Autoren vor, eine strukturierte siebenstufige “Promptware Kill Chain”:
- Prompt-Injektion ist der erste Schritt in einer ausgeklügelten, mehrstufigen Operation, die traditionellen Malware-Kampagnen wie Stuxnet oder NotPetya ähnelt.
- Werden bösartige Anweisungen in das Lernmaterial der KI integriert, geht der Angriff in eine Privilegienerweiterung über, die oft als „Jailbreaking“ bezeichnet wird. In dieser Phase umgeht der Angreifer die Sicherheitsschulungen und Richtlinien, die Anbieter wie OpenAI oder Google in ihre Modelle integriert haben.
- Nach der Privilegienerweiterung folgt die Aufklärung. Hier manipuliert der Angriff das LLM, um Informationen über seine Ressourcen, verbundenen Dienste und Fähigkeiten preiszugeben.
- Durch eine Vielzahl von Mechanismen bettet sich Promptware in das Langzeitgedächtnis eines KI-Agenten ein oder vergiftet die Datenbanken, auf die sich der Agent stützt. Beispielsweise könnte ein Wurm das E-Mail-Archiv eines Benutzers infizieren, sodass jedes Mal, wenn die KI vergangene E-Mails zusammenfasst, der bösartige Code erneut ausgeführt wird. Dies bezeichnen die Autoren als Persistenzphase.
- Die Command-and-Control-Phase (C2) basiert auf der etablierten Persistenz (Schritt 4) und dem dynamischen Abruf von Befehlen durch die LLM-Anwendung während der Inferenzzeit aus dem Internet.
- In der sechsten Phase breitet sich der Angriff vom ursprünglichen Opfer auf andere Benutzer, Geräte oder Systeme aus. Im Bestreben, KI-Agenten Zugriff auf E-Mails, Kalender und Unternehmensplattformen zu gewähren, schaffen wir „Autobahnen“ für die Verbreitung von Malware. Beispielsweise kann ein infizierter E-Mail-Assistent dazu verleitet werden, die schädliche Nutzlast an alle Kontakte weiterzuleiten und die Infektion wie einen Computervirus zu verbreiten.
- Schließlich endet die Kill Chain mit „Actions on Objective“. Das Ziel von Promptware besteht oft darin, durch Datenexfiltration, Finanzbetrug oder sogar Auswirkungen auf die physische Welt konkrete böswillige Ergebnisse zu erzielen. Es gibt Beispiele dafür, dass KI-Agenten dazu manipuliert wurden, Autos für einen einzigen Dollar zu verkaufen oder Kryptowährung auf das Wallet eines Angreifers zu übertragen. Das Ergebnis dieser Phase bestimmt die Art der von Promptware ausgeführten Malware, darunter Infostealer, Spyware und Cryptostealer.
URLs:
- Lawfare: https://www.lawfarem … romptware-kill-chain
- arXiv: https://arxiv.org/abs/2601.09625
- Schneier on Security: https://www.schneier … ware-kill-chain.html