KI-Infos

METR ließ in einer Untersuchung vier erfahrene Entwickler (Maintainer in Open Source Projekten) die drei Software Engineering Bench-Projekte (scikit-learn, Sphinx und pytest) aktiv betreuen und insgesamt 296 KI-generierte Code-Beiträge begutachten. Für die Untersuchung wurden fünf Modellen zur Erstellung des Codes benutzt: Claude 3.5 Sonnet (Old), Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet und GPT-5. Es wurden auch menschlicher Code eingefügt, der von anderen Maintainern für deren Projekte akzeptiert wurde. Die prüfenden maintainer wussten nicht, ob der Code von einem Menschen oder einer KI verfasst wurde.

Etwa die Hälfte der Lösungen, welche von den drei Tools akzeptiert wurden, lehnten die prüfenden Maintainern ab. Gründe für die Ablehnung lagen u.a. in:

• Codequalität: z. B. schlechter Stil, Nichtbeachtung der Repo-Standards
• Sonstige Fehler: Undokumentierte Fehler
• Beschädigt anderen Code: z. B. Lösung des Problems, aber Beschädigung von anderem Code im Repo
• Fehler in der Kernfunktionalität: z. B. das im Problem gemeldete Problem wird nicht gelöst
• Fehler in der automatisierten Bewertung

Die Forscher warnen aufgrund der erzielten Ergebnisse vor einer naiven Extrapolation einiger Benchmarks auf die reale Nützlichkeit. Die erzielten Ergebnisse konzentrieren sich zwar SWE-bench Verified, aber die Forscher vermuten, dass ähnliche Erkenntnisse auch für andere Benchmarks gelten, die im Kontext menschlicher Arbeitsabläufe interpretiert werden, z. B. GDPval-AA, UpBench usw.

URLs

• METR Forschungsbericht: https://metr.org/not … be-merged-into-main/
• AIToolly: https://aitoolly.com … -be-merged-into-main
• The Decoder (deutsch): https://the-decoder. … weiten-vorschlag-ab/

Das EU-Parlament verabschiedete am Dienstag, den 10. Mäörz 2026, mit 460 Stimmen bei 71 Gegenstimmen und 88 Enthaltungen eine Reihe von Empfehlungen zum Schutz urheberrechtlich geschützter kreativer Werke vor der Nutzung durch künstliche Intelligenz (KI). Kernforderung: Um kreative Arbeit innerhalb der EU zu schützen, muss die Nutzung urheberrechtlich geschützter Inhalte von KI angemessen vergütet werden.
Das EU-Parlament fordert die EU-Kommission auf, zu prüfen, wie eine Vergütung für die bisherige Nutzung durch KI-Anbieter sichergestellt werden kann. Dabei wird entsprechend Pressemitteilung des EU-Parlaments eine vollständiger Transparenz bei der Nutzung geschützter Inhalte durch genAI gefordert, dass KI-Anbieter und -Nutzer eine detaillierte Liste aller urheberrechtlich geschützten Werke, die zum Trainieren der KI verwendet wurden, sowie detaillierte Aufzeichnungen über Crawling-Aktivitäten bereitstellen. Das Fehlen dieser Angaben könnte als Urheberrechtsverletzung angesehen werden und rechtliche Konsequenzen für KI-Anbieter und -Anwender nach sich ziehen.
Die Abgeordneten des EU-Parlaments lehnen allerdings Vorschläge ab, bei denen KI-Anbieter eine globale Lizenz für das Training ihrer Modelle generativer KI gegen eine Pauschalzahlung erhalten; dies wird also nicht die Lösung sein, die das EU-Parlament präsentieren sollte.

• Pressemitteilung EU-Parlament: https://www.europarl … stlicher-intelligenz
• Pressemitteilung Bundesregierung: https://www.bundesre … iert-werden–2410028

beck aktuell berichtet über Ergebnisse genAI Benchmarks “BullshitBench v2”. Wie der Name des Benschmarks andeutet, bekommen KI-Systeme gezielt unsinnige oder unlösbare Aufgaben. Ich leite meinen Post aus unserer genAI-Gruppe dazu gleich nach hier weiter).
To­bi­as Voß­berg schaute sich das auch an und berichtet bei beck aktuell über die Ergebnisse der Studie.
Sein Fazit (Zitat):

Für Juristinnen und Juristen ergibt sich aus der Studie, dass die Wahl des KI-Modells keine technische Nebensache ist. Wer ein Werkzeug einsetzt, das in mehr als der Hälfte der Fälle unsinnige Prämissen ungeprüft übernimmt, baut sein Arbeitsergebnis auf ein unsicheres Fundament. Das gilt umso mehr für juristische Laien, die KI für Rechtsfragen nutzen. Sie haben in der Regel kein Korrektiv, um eine plausibel klingende, aber falsche Antwort zu erkennen.
Die Studie zeigt aber auch: Es gibt durchaus Modelle, die falsche Prämissen zuverlässig erkennen und zurückweisen. Anwaltskanzleien, Rechtsabteilungen und Legal-Tech-Anbieter sollten diesen Aspekt bei der Auswahl ihrer KI-Werkzeuge berücksichtigen. Denn ein Modell, das nicht Nein sagen kann, ist im juristischen Kontext gefährlich.

URL:

• beck aktuell: https://rsw.beck.de/ … innigen-rechtsfragen

Zum BullshitBench v2 siehe auch Post vom 4. März 2026: https://gesundheitsd … y=entry260304-110035

McKinsey führte im Juli 2023 eine interne KI-Plattform namens Lilli ein, nach Angaben von McKinsey nutzen 72 Prozent der Beschä#ftigten den Chatbot.
Das Security-Startups Codewall bekam mit ihrem KI-Agenten innerhalb von nur zwei Stunden vollständigen Lese- und Schreibzugriff auf die Plattform. Nach Auskunft von Codewall bedeutete dies Zugriff auf:

• 46,5 Millionen Chat-Nachrichten der Beschäftigten inkl. Kundenbeziehungen, Finanzen, …
• 728.000 Dateien: 192.000 PDFs. 93.000 Excel-Tabellen. 93.000 PowerPoint-Präsentationen. 58.000 Word-Dokumente.
• 57.000 Benutzerkonten, d.h. Konten aller Beschäftigten, die die Plattform nutzen
• …

Berichte dazu

• Blogbeitrag bei Codewall: https://codewall.ai/ … ckinseys-ai-platform
• Bericht bei The Register: https://www.theregis … y_ai_chatbot_hacked/
• Bericht bei t3n (deutsch): https://t3n.de/news/ … uebernehmen-1733228/

Vor drei Jahren veröffentlichte Andreessen Horowitz die erste Ausgabe einer Liste, die zeigte, welche generativen KI-Produkte tatsächlich von normalen Verbrauchern genutzt wurden. Jetzt ist die 6. Ausgabe der Liste erschienen. In dieser sechsten Ausgabe wurde der Fokus auf alle Verbraucherprodukte, bei denen generative KI zu einem zentralen Bestandteil des Nutzererlebnisses geworden ist, erweitert – darunter CapCut, Canva, Notion, Picsart, Freepik und Grammarly.
ChatGPT ist nach wie vor mit Abstand das beliebteste KI-Produkt für Endverbraucher. Im Web ist es 2,7-mal beliebter als das zweitplatzierte Produkt, Gemini (gemessen am monatlichen Traffic) – und auf Mobilgeräten ist es 2,5-mal häufiger genutzt (gemessen an den monatlich aktiven Nutzern).
Geografisch gesehen zerfällt der KI-Markt in drei unterschiedliche Ökosysteme, und die Kluft zwischen ihnen wird immer größer.
Die westlichen KI-Tools haben nach wie vor eine bemerkenswert ähnliche Nutzerbasis. ChatGPT, Claude, Gemini und Perplexity beziehen ihre wichtigsten Märkte alle aus demselben Pool: den USA, Indien, Brasilien, Großbritannien und Indonesien, in unterschiedlicher Reihenfolge. Keines dieser Tools findet in China oder Russland nennenswerte Nutzung. Dies ist eine Folge der Politik – westliche Technologiesanktionen haben seit 2022 den Zugang zu US-amerikanischen KI-Tools in Russland eingeschränkt, und China verlangt von KI-Anbietern, sich zu registrieren, Daten im Inland zu hosten und Zensurvorschriften einzuhalten.
Der vollständige Bericht mit vielen weiteren Informationen ist unter der URL https://a16z.com/100-gen-ai-apps-6/ abrufbar.