KI-Modelle kämpfen weiterhin mit Software-Debugging

MÜNCHEN (IT BOLTWISE) – Trotz der zunehmenden Integration von KI in die Softwareentwicklung zeigt eine aktuelle Studie von Microsoft, dass selbst fortschrittliche KI-Modelle wie die von OpenAI und Anthropic erhebliche Schwierigkeiten beim Debugging von Software aufweisen.

Die Nutzung von KI zur Unterstützung bei Programmieraufgaben nimmt stetig zu. So hat Google-CEO Sundar Pichai im Oktober verkündet, dass 25% des neuen Codes im Unternehmen von KI generiert werden. Auch Meta-CEO Mark Zuckerberg hat ambitionierte Pläne, KI-Coding-Modelle im sozialen Netzwerk umfassend einzusetzen. Doch trotz dieser Fortschritte zeigt eine neue Studie von Microsoft Research, dass selbst die besten Modelle Schwierigkeiten haben, Softwarefehler zu beheben, die erfahrene Entwickler nicht aus der Ruhe bringen würden. Die Studie untersuchte neun verschiedene Modelle, darunter Anthropic’s Claude 3.7 Sonnet und OpenAI’s o3-mini, die bei der Lösung von Aufgaben im SWE-bench Lite Benchmark getestet wurden. Trotz Zugriff auf Debugging-Tools wie einen Python-Debugger, schafften es die Modelle selten, mehr als die Hälfte der Aufgaben erfolgreich zu lösen. Claude 3.7 Sonnet erreichte die höchste Erfolgsquote mit 48,4%, gefolgt von OpenAI’s o1 mit 30,2% und o3-mini mit 22,1%. Ein Hauptproblem ist die Datenknappheit, insbesondere im Bereich der ‘sequentiellen Entscheidungsprozesse’, also menschlicher Debugging-Traces, die in den Trainingsdaten der Modelle fehlen. Die Autoren der Studie sind überzeugt, dass spezialisierte Daten, wie Trajektorien, die Interaktionen mit einem Debugger aufzeichnen, notwendig sind, um die Modelle zu besseren Debuggern zu machen. Diese Erkenntnisse sind nicht überraschend, da viele Studien gezeigt haben, dass KI-generierter Code oft Sicherheitslücken und Fehler enthält. Ein Beispiel ist das KI-Coding-Tool Devin, das nur drei von zwanzig Programmieraufgaben erfolgreich abschließen konnte. Trotz dieser Herausforderungen bleibt das Interesse an KI-gestützten Programmierwerkzeugen hoch. Branchenführer wie Microsoft-Mitbegründer Bill Gates und Replit-CEO Amjad Masad sind der Meinung, dass Programmieren als Beruf bestehen bleibt. Diese Entwicklungen zeigen, dass KI zwar ein mächtiges Werkzeug ist, aber menschliche Expertise in der Softwareentwicklung noch lange nicht ersetzen kann.

Bestseller Nr. 1 - «KI Gadgets»

Apple AirTag - Finde und behalte Deine Sachen im Blick: Schlüssel, Geldbörsen, Gepäck, Rucksäcke und mehr. Einfaches Einrichten mit iPhone oder iPad. Austauschbare Batterie

29,99 EUR

Bestseller Nr. 2 - «KI Gadgets»

Mobvoi TicNote KI Digitales Diktiergerät, 64 GB Speicher, Notizrekorder mit Hülle, App-Steuerung, über 100 Sprachen, Transkribieren, Zusammenfassen mit AI Shadow,digitaler Audiorekorder Sprachrekorder

169,99 EUR

Bestseller Nr. 3 - «KI Gadgets»

PLAUD Note KI Digitales Diktiergerät mit Hülle - 64 GB Aufnahmegerät mit KI-Technologie zum Transkribieren und Zusammenfassen, One-Touch-Aufnahme, Rauschunterdrückung, Unterstützt 112 Sprachen

169,90 EUR

Bestseller Nr. 4 - «KI Gadgets»

KI-Sprachrekorder, PLAUD NotePin Sprachrekorder, App-Steuerung, KI-Notizgerät, KI-Transkription & Zusammenfassung, 112 Sprachen, 64GB Speicher, Audiorekorder für Vorlesungen, Meetings, Kosmisches Grau

169,90 EUR

Bestseller Nr. 5 - «KI Gadgets»

SOXOI KI Digitales Diktiergerät, 64GB Magnet Mini Aufnahmegerä mit ChatGPT 4o vom Transkribieren und Zusammenfassen für 102 Sprachen,One Touch Aufnahme, Voice Recorder Sprachrecorder (Schwarz)

79,99 EUR

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!