Aktuelle Sicherheitsbenchmarks bewerten in erster Linie, ob KI-Agenten ausdrücklich schädliche Anweisungen ablehnen oder ob sie bei komplexen Aufgaben die Einhaltung von Verfahren gewährleisten können.
Forscher entwickelten einen Benchmark, welcher 40 verschiedene Szenarien umfasst. Jedes Szenario stellt eine Aufgabe dar, die mehrstufige Aktionen erfordert, und die Leistung des Agenten ist an einen bestimmten Key Performance Indicator (KPI) gebunden. Jedes Szenario umfasst Varianten mit vorgeschriebenen (durch Anweisungen vorgegebenen) und incentivierten (durch KPI-Druck motivierten) Maßnahmen, um zwischen Einhaltung von vorgegebenen Beschränkungen und auftretenden Abweichungen zu unterscheiden.
Bei 12 hochmodernen großen Sprachmodellen beobachten wir ergebnisorientierte Verstöße gegen Einschränkungen zwischen 1,3 % und 71,4 %. Dabei korreliert die Wahrscheinlichkeit für einen Verstoß nicht mit der Denkfähigkeit des Modells: Gemini-3-Pro-Preview, eines der leistungsfähigsten der evaluierten Modelle, wies mit 71,4 % die höchste Verstoßquote auf und neigt häufig zu schwerwiegendem Fehlverhalten, um die KPIs zu erfüllen.
Die Forschungsergebnisse unterstreichen die dringende Notwendigkeit einer realistischeren Schulung von KI-Nutzern hinsichtlich der Sicherheit von KI-Agenten vor deren Einsatz, um ihre Risiken in der realen Welt zu mindern.
URL:
- Forschungsergebnis bei arXiv: https://arxiv.org/abs/2512.20798