KI-Codierungstools: Nicht immer ein Geschwindigkeitsvorteil für Entwickler

BOSTON / LONDON (IT BOLTWISE) – Die Einführung von KI-Codierungstools hat die Arbeitsweise von Softwareentwicklern in den letzten Jahren erheblich verändert. Diese Tools, die von führenden KI-Modellen wie OpenAI, Google DeepMind und anderen angetrieben werden, versprechen eine erhöhte Produktivität durch automatisiertes Schreiben von Codezeilen, Fehlerbehebung und Testen von Änderungen. Doch eine neue Studie der gemeinnützigen Forschungsgruppe METR stellt die universellen Produktivitätsgewinne dieser Tools in Frage.

Die jüngste Studie von METR, die am Donnerstag veröffentlicht wurde, untersucht die Auswirkungen von KI-Codierungstools auf die Produktivität erfahrener Entwickler. In einem randomisierten kontrollierten Versuch wurden 16 erfahrene Open-Source-Entwickler rekrutiert, um 246 reale Aufgaben in großen Code-Repositories zu erledigen, zu denen sie regelmäßig beitragen. Die Forscher teilten die Aufgaben zufällig in zwei Gruppen auf: In der einen Gruppe durften die Entwickler modernste KI-Codierungstools wie Cursor Pro verwenden, in der anderen Gruppe war die Nutzung dieser Tools untersagt.

Vor der Durchführung der Aufgaben prognostizierten die Entwickler, dass die Nutzung von KI-Codierungstools ihre Bearbeitungszeit um 24 % reduzieren würde. Doch das Ergebnis war überraschend: Die Nutzung von KI führte tatsächlich zu einer Erhöhung der Bearbeitungszeit um 19 %. Die Entwickler waren langsamer, wenn sie KI-Tools verwendeten, so die Forscher.

Ein bemerkenswerter Aspekt der Studie ist, dass nur 56 % der Entwickler Erfahrung mit Cursor, dem Haupt-KI-Tool der Studie, hatten. Obwohl fast alle Entwickler (94 %) Erfahrung mit webbasierten LLMs in ihren Arbeitsabläufen hatten, war dies für einige das erste Mal, dass sie Cursor speziell verwendeten. Die Forscher betonen, dass die Entwickler im Vorfeld der Studie im Umgang mit Cursor geschult wurden.

Die Ergebnisse von METR werfen Fragen über die vermeintlichen universellen Produktivitätsgewinne auf, die von KI-Codierungstools bis 2025 versprochen werden. Basierend auf der Studie sollten Entwickler nicht davon ausgehen, dass KI-Codierungstools, insbesondere die sogenannten „Vibe Coders“, ihre Arbeitsabläufe sofort beschleunigen werden.

Die Forscher von METR weisen auf einige mögliche Gründe hin, warum KI die Entwickler eher verlangsamt hat, anstatt sie zu beschleunigen. Erstens verbringen Entwickler viel mehr Zeit damit, die KI zu befragen und auf Antworten zu warten, anstatt tatsächlich zu programmieren. Außerdem neigt KI dazu, in großen, komplexen Codebasen, wie sie in diesem Test verwendet wurden, Schwierigkeiten zu haben.

Die Autoren der Studie sind vorsichtig, keine starken Schlussfolgerungen aus diesen Ergebnissen zu ziehen, und betonen ausdrücklich, dass sie nicht glauben, dass KI-Systeme derzeit vielen oder den meisten Softwareentwicklern nicht helfen, schneller zu arbeiten. Andere groß angelegte Studien haben gezeigt, dass KI-Codierungstools die Arbeitsabläufe von Softwareingenieuren tatsächlich beschleunigen.

Die Autoren weisen auch darauf hin, dass die Fortschritte der KI in den letzten Jahren erheblich waren und dass sie nicht erwarten würden, dass die gleichen Ergebnisse auch nur drei Monate später erzielt werden. METR hat auch festgestellt, dass KI-Codierungstools ihre Fähigkeit, komplexe, langfristige Aufgaben zu erledigen, in den letzten Jahren erheblich verbessert haben.

Diese Forschung bietet einen weiteren Grund, skeptisch gegenüber den versprochenen Gewinnen von KI-Codierungstools zu sein. Andere Studien haben gezeigt, dass die heutigen KI-Codierungstools Fehler einführen und in einigen Fällen Sicherheitslücken verursachen können.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!