MÜNCHEN (IT BOLTWISE) – In der Welt der Softwareentwicklung spielen große Sprachmodelle (LLMs) eine zunehmend wichtige Rolle. Doch die traditionellen Benchmarks zur Bewertung ihrer Programmierfähigkeiten stoßen an ihre Grenzen.
Mit der fortschreitenden Entwicklung von großen Sprachmodellen (LLMs) zur Unterstützung der Programmierung wird die Notwendigkeit neuer Bewertungsmaßstäbe immer deutlicher. Obwohl viele dieser Modelle in traditionellen Benchmarks wie HumanEval und MBPP hohe Punktzahlen erzielen, bleibt die Frage offen, welches Modell für spezifische Softwareentwicklungsprojekte am besten geeignet ist.
Forscher der Yale University und der Tsinghua University haben eine innovative Methode entwickelt, um die Fähigkeit von Modellen zur Lösung von ‘selbstaufrufenden Code-Generierungsproblemen’ zu testen. Diese Probleme erfordern nicht nur das Erstellen von Code, sondern auch das Wiederverwenden bestehender Lösungen, was realistischen Programmieraufgaben näherkommt als herkömmliche Tests.
Die selbstaufrufende Code-Generierung stellt eine bedeutende Herausforderung dar, da sie die Fähigkeit eines Modells prüft, seinen eigenen generierten Code in komplexeren Aufgaben zu nutzen. Dies ist ein entscheidender Aspekt, den aktuelle Benchmarks nicht ausreichend erfassen. Um diese Fähigkeit zu testen, haben die Forscher die Benchmarks HumanEval Pro und MBPP Pro entwickelt, die auf den bestehenden Datensätzen aufbauen und zusätzliche Elemente einführen, die die Modelle dazu zwingen, ihre Lösungen zu erweitern.
Ein Beispiel für eine solche Aufgabe wäre, eine Funktion zu schreiben, die mehrere Zeichen in einem String ersetzt, wobei die Lösung auf einer zuvor generierten Funktion basiert, die nur ein Zeichen ersetzt. Diese Art der Bewertung bietet tiefere Einblicke in die Programmierfähigkeiten von LLMs und geht über die einfache Generierung von Code hinaus.
Die Tests der Forscher zeigten, dass viele Modelle, die in traditionellen Benchmarks gut abschneiden, bei selbstaufrufenden Code-Generierungsaufgaben Schwierigkeiten haben. So erreichte beispielsweise das Modell o1-mini bei HumanEval Pro nur 76,2 %, während es bei HumanEval 96,2 % erzielte. Dies verdeutlicht die Diskrepanz zwischen einfachen und komplexeren Programmieraufgaben.
Ein weiterer interessanter Befund ist, dass das Fein-Tuning von Modellen auf Anweisungen bei einfachen Aufgaben erhebliche Verbesserungen bringt, bei komplexeren selbstaufrufenden Aufgaben jedoch weniger effektiv ist. Die Forscher schlagen vor, die Trainingsmethoden für Basismodelle zu überdenken, um deren Fähigkeiten in der Code-Generierung und im logischen Denken zu verbessern.
Um die Forschung in diesem Bereich voranzutreiben, schlagen die Forscher eine Technik vor, um bestehende Coding-Benchmarks automatisch für selbstaufrufende Code-Generierung zu nutzen. Diese Methode minimiert den Bedarf an manueller Code-Überprüfung und erleichtert die Generierung neuer Beispiele.
Diese neuen Benchmarks kommen zu einer Zeit, in der alte Coding-Benchmarks von modernen Modellen schnell erobert werden. Während Modelle wie GPT-4o und Claude 3.5 Sonnet bereits hohe Punktzahlen in HumanEval und MBPP erzielen, zeigen sie bei komplexeren Benchmarks wie SWE-Bench nur mäßige Leistungen. Selbstaufrufende Code-Generierung bietet eine praktische Möglichkeit, die Nützlichkeit von LLMs in realen Szenarien zu bewerten, in denen menschliche Programmierer die Kontrolle haben und KI-Copiloten spezifische Aufgaben im Softwareentwicklungsprozess unterstützen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Selbstaufrufende Code-Benchmarks: Neue Maßstäbe für KI-gestützte Programmierung" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Selbstaufrufende Code-Benchmarks: Neue Maßstäbe für KI-gestützte Programmierung" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Selbstaufrufende Code-Benchmarks: Neue Maßstäbe für KI-gestützte Programmierung« bei Google Deutschland suchen, bei Bing oder Google News!