KI-Infos

US-Forscher der Non-Profit-Organisation “Model Evaluation & Threat Research” (METR) führen eine kontrollierte, randomisierte Studie durch, um zu untersuchen, ob und wie KI-Tools mit Stand von Februar bis Juni 2025 die Produktivität erfahrener Open-Source-Entwickler beeinflussen.
16 Entwickler mit mittlerer KI-Erfahrung bearbeiten 246 Aufgaben in etablierten Projekten, in denen sie durchschnittlich 5 Jahre Erfahrung haben. Nach dem Zufallsprinzip wurde für jede Aufgabe die Verwendung von KI-Tools entweder zugelassen oder verboten. Wenn KI-Tools erlaubt waren, dann verwendeten die Entwickler hauptsächlich Cursor Pro und Claude 3.5/3.7 Sonnet. Die Forscher dokumentierten insgesamt 143 Stunden Bildschirmaufzeichnungen und fassten die Aktionen in Zehn-Sekunden-Intervallen zusammen. Zudem wurden die Probanden zu ihren Erfahrungen befragt.
Vor Beginn der Aufgaben prognostizieren die Entwickler, dass die Zulassung von KI die Bearbeitungszeit um 24 % reduzieren wird. Nach Abschluss der Studie schätzen die Entwickler, dass die Zulassung von KI die Bearbeitungszeit um etwa 20 % verkürzt hat. Die Forscher stellten bei der Auswertung überraschenderweise jedoch fest, dass die Zulassung von KI die Bearbeitungszeit tatsächlich um 19 % verlängerte - KI-Tools haben die Entwickler ausgebremst.
Bei genauerer Betrachtung der Ergebnisse zeigte sich, dass sich mit KI die Pflege von bestehendem Code (wie beispielsweise Bugfixing oder Refactoring) viel aufwendiger gestaltete. Denn dabei wird Code von der KI umgeschrieben oder neu strukturiert. Statt selbst zu coden, mussten die Entwickler immer wieder auf die Vorschläge der KI-Generatoren warten und diese anschließend aufwendig prüfen sowie überarbeiten. Auch schienen die Modelle insbesondere mit großen Code-Basen überfordert zu sein, denn sie schlugen oft veraltete und z.T. auch fehlerhafte Lösungen vor. Über die Hälfte der KI-Vorschläge war unbrauchbar und letztlich wanderten weniger als 44 Prozent des KI-generierten Codes in die Projekte.
Ging es um das das Coden neuer Funktionen oder die Anbindung an neue Schnittstellen erleichterten die eingesetzten KI-Generatoren hingegen das Programmieren.
Studie (rund 50 Seiten) heißt „Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity“ und ist online abrufbar unter https://arxiv.org/abs/2507.09089.