METR ließ in einer Untersuchung vier erfahrene Entwickler (Maintainer in Open Source Projekten) die drei Software Engineering Bench-Projekte (scikit-learn, Sphinx und pytest) aktiv betreuen und insgesamt 296 KI-generierte Code-Beiträge begutachten. Für die Untersuchung wurden fünf Modellen zur Erstellung des Codes benutzt: Claude 3.5 Sonnet (Old), Claude 3.7 Sonnet, Claude 4 Opus, Claude 4.5 Sonnet und GPT-5. Es wurden auch menschlicher Code eingefügt, der von anderen Maintainern für deren Projekte akzeptiert wurde. Die prüfenden maintainer wussten nicht, ob der Code von einem Menschen oder einer KI verfasst wurde.
Etwa die Hälfte der Lösungen, welche von den drei Tools akzeptiert wurden, lehnten die prüfenden Maintainern ab. Gründe für die Ablehnung lagen u.a. in:
- Codequalität: z. B. schlechter Stil, Nichtbeachtung der Repo-Standards
- Sonstige Fehler: Undokumentierte Fehler
- Beschädigt anderen Code: z. B. Lösung des Problems, aber Beschädigung von anderem Code im Repo
- Fehler in der Kernfunktionalität: z. B. das im Problem gemeldete Problem wird nicht gelöst
- Fehler in der automatisierten Bewertung
Die Forscher warnen aufgrund der erzielten Ergebnisse vor einer naiven Extrapolation einiger Benchmarks auf die reale Nützlichkeit. Die erzielten Ergebnisse konzentrieren sich zwar SWE-bench Verified, aber die Forscher vermuten, dass ähnliche Erkenntnisse auch für andere Benchmarks gelten, die im Kontext menschlicher Arbeitsabläufe interpretiert werden, z. B. GDPval-AA, UpBench usw.
URLs
- METR Forschungsbericht: https://metr.org/not … be-merged-into-main/
- AIToolly: https://aitoolly.com … -be-merged-into-main
- The Decoder (deutsch): https://the-decoder. … weiten-vorschlag-ab/