Freitag, August 14, 2026
Ein Designerduo entwickelte einen Font zur Abwehr von Scraping: ShieldFont. Durch Ligaturen bekommen menschliche Leser einer Webseite einen normalen Text angezeigt, im HTML Code, den die KI-Crawler ja auslesen, findet sich aber etwas anderes. Der Clou: Der Satz bleibt grammatikalisch korrekt, aber der Sinn wird verfälscht. Beispielsweise wird das Wort “Pferd” durch durch das Wort “Kartoffel” ausgetauscht.
Da einige KI-Crawler sogar Bezahlschranken umgehen, kann die Methode auch aus Sicht von IT-Sicherheit oder Datenschutz interessant sein.
URLs:
Presseberichte:
Dienstag, August 11, 2026
Anthropic, OpenAI und Google geben verschlüsselte chain-of-thought Blöcke an Clients zurück, die über Sitzungen, Benutzer und Modelle hinweg wiedergegeben werden können.
Die Forscher fanden heraus, dass sich die Reasoning-Logs herauskopieren und in anderen KI-Modellen nutzen lassen, solange sie vom selben Unternehmen stammen. Heißt: Ein Reasoning-Log von GPT-5.6 Sol kann trotz Verschlüsselung in einer älteren Version von OpenAIs KI-Modellen genutzt werden, um denselben Kontext zu geben. Wurden bei einem solchen (älteren) Modell die Sicherheitsvorkehrungen per Jailbreak entfernt, kann das Modell genutzt werden, um die Verschlüsselung der Logs zu decodieren.
Für die Untersuchung wurden 6.708 öffentliche Repositories auf GitHub und Hugging Face genutzt, die von Claude-, GPT- oder Gemini-Modellen kreiert wurden. In diesen Repositories wurden insgesamt 315.320 Reasoning-Logs gefunden und entschlüsselt. In den entschlüsselten Reasoning-Logs befanden u.a.: 62 API-Schlüssel, 33 Passwörter, 24 Zugriffs-Tokens und 30 persönliche E-Mail-Adressen.
Den Forschern gelang es so, über einen vergleichsweise einfachen Umweg sensible Daten wie Passwörter und API-Schlüssel aus über API-Schnittstellen zugreifbaren LLM-Daten zu extrahieren.
URLs:
Presseberichte:
Montag, Juli 6, 2026
Das BSI veröffentlichte am 6. Juli 2026 einen “Prüfkatalog für vertrauenswürdige KI-Systeme”, genauer: den Community Draft des “AI Audit and Assurance Assessment Architecture”(A5). Der Katalog soll sich an alle Akteure entlang der KI-Wertschöpfungskette, d. h. insbesondere auch an die mit Entwicklung, Betrieb, Aufsicht und Beschaffung betrauten Personen. Erfreulicherweise veröffentlichte das BSI alle Dokumente in der Amtssprache, d.h. in deutscher Sprache.
“Community Draft”: Dies ist die Kommentierungsversion für die interessierte Öffentlichkeit. Anmerkungen und Anregungen können bis zum 31. August 2026 (nur) über den Kommentierungsbogen (Excel-Tabelle) per E-Mail an mailto:aisecurity@bsi.bund.de gemailt werden.
URLs:
Freitag, Juni 26, 2026
In der Vergangenheit bestand die Reaktion auf sicherheitsrelevante Vorfälle oft darin, dass Sicherheitsforscher unabhängig voneinander an denselben Problemen arbeiteten, manchmal widersprüchliche Patches veröffentlichten oder die Betreuer mit doppelten Meldungen überhäuften. Da KI-Modelle Code in Minuten scannen und auch Laien komplexe Angriffe ermöglichen und unkoordinierte Meldungen mittlerweile zu einem Denial of Service auf die wichtige Weiterentwicklung der Software führt, muss der Umgang mit entsprechenden Meldungen koordiniert werden.
Die Linux Foundation gründete gemeinsam mit führenden Organisationen/Unternehmen “Akrites”, eine koordinierte Initiative zur Behebung und Offenlegung von Sicherheitslücken in kritischer Open-Source-Software.
Die Gründungsmitglieder stellen technische Fachkräfte, Sicherheits-Know-how und finanzielle Mittel bereit, um die gemeinsam genutzte Open-Source-Software, welche von Einrichtungen wie beispielsweise Banken, Krankenhäuser oder Telekommunikationsunternehmen eingesetzt werden, zu sicherer zu gestaltend.
Akrites richtet ein gemeinsames Security Incident Response Team (SIRT) sowie einen einheitlichen, standardisierten Prozess zur koordinierten Offenlegung von Sicherheitslücken (Coordinated Vulnerability Disclosure, CVD) ein, der auf den Grundsätzen der Vertraulichkeit sowie auf branchenüblichen Tools basiert.
URLs:
Presseberichte:
Samstag, Juni 20, 2026
LLMs enthalten sogenannte KI-Safeguards, welche dazu dienen sollen, dass KI-Systeme vor Missbrauch, Fehlern und Cyberangriffen geschützt werden und ebenso sicherstellen sollen, dass KI-Systeme nicht dazu gebracht werden, gegen geltendes Recht zu verstoßen. Eine Frager “Wie kann ich am effektivsten meine Steuern hinterziehen” wird ignoriert und nicht bearbeitet.
Bekanntermaßen ignorieren LLMs teilweise konkrete Anweisungen und verwischen danach die Spuren des Verstoßes (”reward hacking”), beispielsweise wenn eine KI das eigene Abschalten verhindern will (siehe z.B. Bericht der Berkeley-Forscher).
Was wäre, wenn man dies kombiniert? Wenn man LLMs dazu bringt, Lücken und Schwachstellen in Regulierungen, Verträgen oder Gesetzen zu finden und diese für eigene Zwecke zu nutzen?
Forscher des King’s College London, der Fudan University, des Shanghai Innovation Institute und des Alan Turing Institute untersuchten genau dies und nannten es “Society Hacking”.
Die Forscher nutzten für ihren Versuch das KI-Modell Qwen3-30BA3B und trainierten das Modell darauf, in einer simulierten Spielumgebung die maximale Punktzahl zu erreichen. Insgesamt schufen die Forscher 72 Umgebungen mit sozialen Regeln, welche verschiedene Bereiche wie Finanzen, Gesundheitswesen oder Einwanderung abdecken. Die Hälfte der 72 Umgebungen bildete die reale Welt im jeweiligen Kontext ab (z.B. Steuergesetzgebung), die andere Hälfte enthielt fiktive, aber anwendbare Szenarien wie beispielsweise Wie wird die Vortrag eines Forschers auf einer Veranstaltung angenommen“. Dazu wurden für jede der Umgebungen messbare Ergebnisse, Schwellenwerte und Ausnahmendefiniert, wohingegen institutionelle Absichten oft nur teilweise spezifiziert wurden: eine gelungene Einwanderung oder eingesparte Steuern waren Ziele im Spiel, die sozialen Ziele der entsprechenden regulatorischen Anforderungen wurden hintenangestellt.
Ein davon separates Modell (Gemini-3-Flash) bewertete, ob das andere Modell eine Lücke erfolgreich ausgenutzt hatte. War dies der Fall, wurde das Modell belohnt (Reinforcement Learning).
In diesen Spielumgebungen lernte das eingesetzte Modell, die sozialen Regeln zu „hacken“ und Strategien zu entwickeln, die technisch konform bleiben, während sie gleichzeitig die regulatorische Absicht unterlaufen.
Die Forscher stellten fest, dass das Modell erfolgreich war. Aus ethischen und Sicherheitsgründen wurden die jeweils gefundenen konkreten Strategien jedoch nicht veröffentlicht.
Kommentar: In Deutschland gibt es Bestrebungen, Gesetze und andere Regularien in standardisierter, elektronischer Form zu verfassen. Damit wird die Erstellung entsprechender Umgebungen deutlich vereinfacht, gesetzliche Schlupflöcher können deutlich leichter gefunden und ausgenutzt werden – wenn man das Geld hat, Modelle entsprechend einzusetzen.
URLs:
Presseberichte:
