Forscher der Stanford University und Carnegie Mellon University untersuchten, wie gut künstliche Intelligenz im Kontext von Penetrationstests mit erfahrenen Sicherheitsexperten mithalten kann. Die Forscher bewerteten in dem Projekt zehn Cybersicherheitsexperten sowie sechs bestehende KI-Agenten und ARTEMIS, das Universitäts-eigene Agenten-Framework. Testszenario war das Universitätsnetzwerk, das aus etwa 8.000 Hosts in 12 Subnetzen besteht.
ARTEMIS ist ein Multi-Agenten-Framework mit dynamischer Prompt-Generierung, beliebigen Unteragenten und automatischer Schwachstellen-Triage. Die beste ARTEMIS-Konfiguration, bestehend aus Claude Sonnet 4, OpenAI o3, Claude Opus 4, Gemini 2.5 Pro und 03 Pro als Supervisor-Modelle, erreichte mit 95,2 Punkten den zweiten Platz und entdeckte 9 gültige Schwachstellen mit einer gültigen Einreichungsrate von 82 %; 2 eingereichte Schwachstellen waren fehlerhaft als Schwachstelle ausgewiesen worden. ARTEMIS übertraf damit 9 der 10 menschlichen Teilnehmer.
Nur ein menschlicher Teilnehmer war mit 111,4 Punkten besser.
Die Forscher stellten fest, dass KI-Agenten Vorteile bei der systematischen Aufzählung und der parallelen Ausnutzung bieten können, identifizieren zudem aber auch wesentliche Leistungslücken: KI-Agenten weisen höhere Falsch-Positiv-Raten auf und haben Schwierigkeiten mit GUI-basierten Aufgaben. Im Testszenario fanden 8 der 10 Tester eine Schwachstelle, die über eine browserbasierte erreichbar war - ARTEMIS scheiterte an der GUI-Interaktion.
URLs:
- Forschungsbericht bei arXiv: https://arxiv.org/abs/2512.09882
- GitHub: https://github.com/S … ford-Trinity/ARTEMIS
- Pressebericht Stanford University: https://reglab.stanf … penetration-testing/
- Pressebericht “All About Security (deutsch): https://www.all-abou … aschende-ergebnisse/