LONDON (IT BOLTWISE) – Databricks testet Coding Agents nicht nur über öffentliche Benchmarks, sondern auf echten Pull Requests aus dem eigenen, mehrsprachigen Code. In einem internen Vergleich zeigt sich: Tokenpreise sagen oft zu wenig über die Gesamtkosten aus, während der eingesetzte Harness die Kosten deutlich verschieben kann. Besonders Open-Modelle wie GLM 5.2 schneiden in der Praxis gut ab, und Databricks will mehr Arbeit auf leistungseffiziente Modellklassen routen. Damit rückt eine datengetriebene Auswahl der passenden KI-Tools für Engineering-Workflows in den Fokus.
Databricks rückt das Thema Künstliche-Intelligenz-gestütztes Programmieren aus der Komfortzone von “Best-effort”-Erzählungen heraus: In einem internen Benchmark untersucht das Unternehmen, welche Coding Agents auf einer realen Multi-Millionen-Line-Codebasis tatsächlich die beste Qualität zum niedrigsten Preis liefern. Entscheidend ist dabei nicht nur das Modell, sondern auch die Art, wie der Agent konfiguriert und in eine Arbeitsumgebung eingebettet ist. Databricks beschreibt den Ansatz als Evaluierung von Bearbeitungen, die eigene Ingenieurinnen und Ingenieure im Databricks-Repository durchgeführt haben – über zahlreiche Sprachen hinweg, darunter Python, Go, TypeScript und Scala. Damit entsteht ein praxisnaher Maßstab, der vor allem für Teams relevant ist, die Effizienz in der täglichen Entwicklung messen wollen.
Technisch verankert basiert der Benchmark auf Unity AI Gateway, das Logs für Coding-Interaktionen erfasst. Aus diesen Daten leitet das Team die Komplexität der betrachteten Aufgaben ab: etwa ein Viertel wird als niedrig komplex klassifiziert, rund 60% als mittlere Komplexität. Bei der Task-Konstruktion greift Databricks auf ein PR-Ökosystem zurück, das ohnehin täglich hohe Änderungsraten erzeugt. Ein Pull Request wird als “reiches Artefakt” verstanden: Commits zeigen Iterationen, menschliche Reviews und Tests helfen dabei, die Codeänderung am ursprünglichen Zweck auszurichten. Gleichzeitig setzt Databricks Qualitätsfilter ein, um Bots, Service-Accounts und vollständig generierte Änderungen auszusortieren, damit der Benchmark die typische menschlich kuratierte Entwicklungsarbeit abbildet.
Die Ergebnisse lassen sich laut Bericht als “capability tiers” clustern: Modelle und Harnesses gruppieren sich in drei Leistungsstufen, wobei kleine Abweichungen bei einzelnen Scores in der Praxis oft gegeneinander ausgleichen. Databricks beobachtet, dass sehr intelligente Modelle zwar alle Problemtypen robust lösen, aber sehr teuer sind. Medium- und Lower-Intelligence-Modelle bleiben für Alltagsaufgaben stark, etwa wenn es um operative Änderungen wie Flags oder Konfigurationsupdates geht. Um diesen Effekt sichtbar zu machen, priorisiert das Team, mehr Workloads auf Modellklassen wie Haiku und GPT 5.4 Mini zu verschieben. Gleichzeitig erhält Open-Model-Performance Rückenwind: GLM 5.2 landet statistisch in der oberen Stufe, liegt aber preislich deutlich vorteilhafter – beispielsweise mit $1, 28 pro Task gegenüber $1, 94 für Opus 4.8.
Ein zentraler Punkt betrifft die Kostenlogik: Tokenpreise allein sind laut Databricks ein schlechter Indikator für die tatsächlich entstehenden End-to-End-Kosten. Der Grund liegt in der variierenden “Reasoning Efficiency” der Modelle – ein Modell kann bei gleichem Tokenpreis mehr oder weniger Schritte benötigen. Databricks nennt dafür ein Beispiel: Sonnet 5 ist zwar etwa 1, 7x günstiger pro Token als Opus 4.8, aber in den eigenen Aufgaben kostet Sonnet 5 dennoch $2, 09 pro Task, während Opus 4.8 bei $1, 94 liegt. Zusätzlich schneidet Sonnet 5 in der Task-Komplettierung etwa sechs Punkte schlechter ab (81% vs 87%), weil es länger arbeitet und mehr Tokens verbraucht. Aus dieser Erkenntnis folgt eine klare Markt- und Produktimplikation: Task-level Benchmarking wird zur Grundlage, um in Engineering-Organisationen belastbare Kostenrechnungen zu erstellen.
Ebenso deutlich fällt die Rolle der Harnesses aus. Databricks zeigt, dass beim gleichen Modell und gleichem “thinking effort” die Kosten pro Task je nach Harness stark schwanken können – teils um mehr als das Doppelte – während die Qualität in vielen Fällen ähnlich bleibt. Im Bericht wird etwa gegenübergestellt, dass Pi pro Turn deutlich weniger Kontext sendet (rund 3x weniger) und dadurch den Kontext enger hält, mit weniger Läufen zum Ergebnis gelangt und somit effizienter arbeitet. Diese Perspektive erweitert den Blick auf Wettbewerber: Nicht nur OpenAI und Anthropic als Modellanbieter stehen im Raum, sondern die Integrationsschicht, die Agenten mit Tools und Kontext füttert, entscheidet oft über den ROI. Für Unternehmen, die zwischen Modellfamilien wechseln wollen, ist das ein Argument für flexible Router- und Wechselmechanismen.
Gerade deshalb adressiert Databricks die Frage, warum ein eigenes Benchmark nötig ist. Öffentliche Benchmarks wie SWE-Bench oder TerminalBench seien zwar hilfreich, könnten aber die internen Fragen nicht beantworten: Aufgaben lassen sich im Zeitverlauf potenziell “entleaken”, weil Lösungen von öffentlichen Datenquellen in Trainingsbestände übergehen; außerdem sind solche Benchmarks häufig nicht repräsentativ für Codebasen, die 10+ Sprachen, unterschiedliche Services und Build-Systeme wie Bazel, Protobuf und gRPC kombinieren. Durch die Auswertung auf eigenen PRs kann Databricks die Tests so gestalten, dass sie die Optimierungen nicht indirekt “auf die falsche Zieloptimierung” trainieren. Gleichzeitig reduziert die Methode das Risiko, dass neue Agenten-Sets Entwicklerinnen und Entwicklern unnötige Reibung produzieren, indem man die Auswahl an tatsächlich ausgeführten Codepfaden koppelt.
Der Aufbau des Benchmarks ist dabei nicht nur organisatorisch, sondern auch sicherheitsrelevant. Databricks beschreibt zusätzliche Guardrails, nachdem einige Modellresultate zu “gut” aussahen: In einem frühen Setup war die korrekte Implementierung noch in der Git-Historie des Worktrees rekonstruierbar, weil jede Task aus einem gemergten Commit stammte und ein Agent mit Shell-Kompetenz die History durchlaufen konnte. Als Gegenmaßnahme “versiegelt” das Team Git history, indem es den Arbeitskopie-Stand für die Laufzeit vom Repository abtrennt. Diese Maßnahme ist für die enterprisefähige Einführung von Coding Agents zentral: Sie verhindert das Umgehen des beabsichtigten Testkriteriums und erhöht die Aussagekraft der Messung. Für Datenschutz und Governance gilt zudem: Wenn Logdaten via Gateway verarbeitet werden, müssen Zugriffsrechte, Retention und Auditierbarkeit sauber designt sein, damit sensible PR-Inhalte nicht unkontrolliert in Trainings- oder Auswertungsprozesse abfließen.
Wie geht es weiter? Databricks formuliert die “nächste” Stufe als datengetriebene Auswahl der richtigen Modelle und Harnesses, die automatisch zur Task-Komplexität und zum Engineering-Kontext passt. Das Unternehmen plant, sukzessive mehr Aufgaben einzuführen – besonders anspruchsvollere – und bei jedem neuen Agent-/Harness-Setup den Benchmark erneut laufen zu lassen. Entscheidend ist dabei die Vermeidung von Lock-in: Databricks betont die frühe Skepsis gegenüber Vendor-Abhängigkeiten und gegenüber Annahmen, die Flexibilität im Zeitverlauf reduzieren. In der Praxis bedeutet das: ein Routing- und Swap-fähiger Agenten-Stack, der über Unity AI Gateway und Omnigent konsequent gleiche Guardrails beibehält, während Optimierungen an Effizienz und Qualität vorgenommen werden. Der Ausblick ist damit klar: Teams, die ihre eigenen PR- und Testdaten als “lebendes Benchmarking” nutzen, können die Kosten ihrer KI-gestützten Entwicklung messbar senken und gleichzeitig die Sicherheits- und Qualitätsbarrieren hoch halten.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Databricks benchmarkt Coding Agents: Kosten pro Task schlagen Tokenpreise" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Databricks benchmarkt Coding Agents: Kosten pro Task schlagen Tokenpreise" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Databricks benchmarkt Coding Agents: Kosten pro Task schlagen Tokenpreise« bei Google Deutschland suchen, bei Bing oder Google News!