KI-Infos

Google DeepMind veröffentlichte Ende März die Ergebnisse einer Untersuchung, wonach für Menschen nicht-lesbare Texte KI-Agenten manipulieren. Z.B. als Kommentar in einer HTML-Seite eingebettet oder via Steganographie in einem Bild versteckt bekommen KI-Agenten Befehle, welche auch vorhandene Befehle überschreiben können.
URLs:

• Google DeepMind: https://deepmind.goo … armful-manipulation/
• Bericht auf arXiv: https://arxiv.org/abs/2603.25326
• Pressebericht bei All-AI (deutsch): https://www.all-ai.d … agent-traps-studie-1

KI-Suchmaschine von Perplexity regt Nutzer dazu an, ihre Suchanfragen durch Chat-Sitzungen zu vertiefen. Laut einer Klageschrift werden diese Daten oft ohne Wissen oder Zustimmung der Nutzer vollständig an Google und Meta weitergegeben. Mithilfe von Entwicklertools sei festgestellt worden, dass die ersten Prompts stets weitergegeben werden, ebenso wie alle Folgefragen, die die Suchmaschine stellt und auf die ein Nutzer klickt. Dies geschehe auch, wenn Nutzer, die anonym bleiben wollen, den „Inkognito-Modus“ von Perplexity wählen.
In der Klageschrift heißt es:

Der “Incognito-Modus” schützt die Nutzer in keiner Weise davor, dass ihre Unterhaltungen an Meta und Google weitergegeben werden. Selbst bei zahlenden Nutzern, die die Incognito-Funktion aktiviert hatten, wurden ihre Unterhaltungen weiterhin an Meta und Google weitergegeben, zusammen mit ihren E-Mail-Adressen und anderen Identifikatoren, die es Meta und Google ermöglichten, sie persönlich zu identifizieren.

URLs:

• Download Klageschrift (bei ars technica): https://cdn.arstechn … omplaint-3-31-26.pdf
• ars technica: https://arstechnica. … a-sham-lawsuit-says/
• Local News Matters: https://localnewsmat … eta-without-consent/
• PPC Land: https://ppc.land/law … e-and-meta-secretly/
• t3n (deutsch): https://t3n.de/news/ … -perplexity-1737436/

Gartner prophezeit in einer Veröffentlichung von Mitte Februar, dass fehlerhaft konfigurierte KI-Instanzen bis zum Jahr 2028 kritische Infrastruktur in “cyber-physischen Systemen” lahmlegt. Ein sicherer Kill Switch oder Override-Modus, der ausschließlich autorisierten Betreibern zugänglich ist, sei deshalb essenziell, um kritische Infrastrukturen auf nationaler Ebene vor unbeabsichtigten Ausfällen durch KI-Fehlkonfigurationen zu schützen.
URLs:

• Bericht bei Gartner: https://www.gartner. … ure-in-a-g20-country
• Bericht bei CIO: https://www.cio.de/a … paetestens-2028.html

Das Open Worldwide Application Security Project (OWASP) veröffentlichte die “OWASP Top 10 for Agentic Applications 2026”, worin die die kritischsten Sicherheitsrisiken für autonome und agentische KI-Systeme benannt werden. Die Liste wurde - wie andere Listen von OWASP auch - in enger Zusammenarbeit mit mehr als 100 Branchenexperten, Forschern und Praktikern entwickelt und bietet praktische, umsetzbare Leitlinien, die Organisationen dabei unterstützen, KI-Agenten, welche in komplexen Arbeitsabläufen mehr oder weniger autonom planen, handeln und Entscheidungen treffen, sicher einzusetzen.

Die OWASP Agentic Skills Top 10 (AST10) listen die 10 kritischsten Sicherheitsrisiken im Bereich der agentischen KI-Fähigkeiten auf allen wichtigen KI-Agentenplattformen auf. Diese Fähigkeiten repräsentieren die Ausführungsebene, die Agenten reale Auswirkungen verschaffen: Es wird nicht nur definiert, auf welche Ressourcen Agenten zugreifen können, sondern auch, wie sie mehrstufige Arbeitsabläufe autonom koordinieren.

Linkliste zu den OWASP-Ressourcen:

• OWASP Top 10 for Agentic Applications for 2026
  • OWASP Top 10 for Agentic Applications for 2026: https://genai.owasp. … plications-for-2026/
  • githib: https://github.com/p … -Top10-Vulnerability
  • Video, in welchem John Sotiropoulos die Top 10 for Agentic AI Applications am 2025-11-20 vorstelle: https://www.youtube. … /watch?v=-vXoC0UvpjY
• OWASP Agentic Skills Top 10
  • OWASP Agentic Skills Top 10: https://owasp.org/ww … entic-skills-top-10/
  • github: https://github.com/k … gentic-skills-top-10
  • Bericht von Microsoft, wie man in Copilot die Agentic Skills Top 10 adressiert: https://www.microsof … soft-copilot-studio/
• OWASP Top 10 for Large Language Model Applications
  • Project Homepage: https://owasp.org/ww … -model-applications/
  • OWASP Top 10 for LLM Applications 2025: https://genai.owasp.org/llm-top-10/
• OWASP AIBOM Generator
  • Project Homepage: https://genai.owasp. … asp-aibom-generator/
  • github: https://github.com/C … DX/cyclonedx-python/

McKinsey führte im Juli 2023 eine interne KI-Plattform namens Lilli ein, nach Angaben von McKinsey nutzen 72 Prozent der Beschä#ftigten den Chatbot.
Das Security-Startups Codewall bekam mit ihrem KI-Agenten innerhalb von nur zwei Stunden vollständigen Lese- und Schreibzugriff auf die Plattform. Nach Auskunft von Codewall bedeutete dies Zugriff auf:

• 46,5 Millionen Chat-Nachrichten der Beschäftigten inkl. Kundenbeziehungen, Finanzen, …
• 728.000 Dateien: 192.000 PDFs. 93.000 Excel-Tabellen. 93.000 PowerPoint-Präsentationen. 58.000 Word-Dokumente.
• 57.000 Benutzerkonten, d.h. Konten aller Beschäftigten, die die Plattform nutzen
• …

Berichte dazu

• Blogbeitrag bei Codewall: https://codewall.ai/ … ckinseys-ai-platform
• Bericht bei The Register: https://www.theregis … y_ai_chatbot_hacked/
• Bericht bei t3n (deutsch): https://t3n.de/news/ … uebernehmen-1733228/