LONDON (IT BOLTWISE) – Google hat Android Bench in der Version 2.0 weiterentwickelt und stärker auf KI-gestützte Langhorizont-Aufgaben ausgerichtet. Statt nur „pass/fail“ zu bewerten, nutzt der Benchmark eine kontinuierliche Bewertung über Funktionalität, visuelle Qualität und das Vermeiden von Regressionen. Bei komplexen Projekten wie Feature-Erweiterungen oder App-Neuentwicklungen zeigt sich, dass selbst Frontier-Modelle das Optimum nicht erreichen. Zusätzlich testet Android Bench 2.0 Agenten-Setups, in denen Modelle als ausführende Akteure gegen konkrete Entwicklungsziele antreten.
Android Bench geht in Runde 2.0 und macht damit deutlich, dass KI-Entwicklungstools inzwischen weniger an der „kleinen Änderung“ gemessen werden sollen. In der ersten Version lag der Fokus laut Google noch auf inkrementellen Anpassungen in bestehenden Repositories – etwa Bugfixes oder überschaubare Feature-Requests. Mit Android Bench 2.0 verlagert sich das Testdesign auf Aufgaben, die sich für einen einzelnen Ingenieur über mehrere Tage, teilweise sogar bis zu einer Woche erstrecken. Dazu zählen nach den Angaben neue Features, das Erstellen von Apps von Grund auf sowie die Migration von plattformübergreifenden Codebasen hin zu Android. Genau an dieser Stelle kippt der Anspruch: Wer nur syntaktisch korrekten Code liefern kann, reicht für realistische Engineering-Workflows oft nicht aus.
Technisch betrachtet ist die zentrale Änderung die Bewertungslogik. Google stellt den Benchmark von einem binären Ansatz („passt“ oder „fällt durch“) auf kontinuierliches Scoring um. Die Abschlussrate ergibt sich dabei aus mehreren Faktoren: Funktionalität, visuelle Wiedergabetreue und die Vermeidung von Regressionen. Zusätzlich gibt es objektive Punktabzüge, wenn Modelle von den Evaluationsanweisungen abweichen oder strukturelle Constraints verletzen. Für Unternehmen und Entwicklerteams ist das mehr als Kosmetik: Kontinuierliche Scores spiegeln besser wider, wie viel „produktive Arbeit“ eine KI-Lösung tatsächlich liefert, statt nur zu sagen, ob am Ende formal alles zusammenlief.
Für die Einordnung der Resultate nennt Google konkrete Beispiele aus der Bewertung. Dabei wurden unter anderem Gemini 3.7/3.8 Flash, OpenAI GPT-6, Anthropic Fable 5.1, Kimi K3 und Qwen 3.8 Max auf dem Benchmark geratet. GPT-6 Astra liegt Google zufolge mit einer 28%-Passrate an der Spitze – im Vergleich dazu werden beim vorherigen Ansatz Scores in einem Bereich um die 90% erwartet. Diese Differenz ist ein Hinweis darauf, dass die frühere Pass/Fail-Logik Veränderungen eher begünstigte, während die neue Evaluation stärker danach fragt, ob ein Modell über den gesamten Task hinweg stabil liefert. Gleichzeitig macht Google auch Grenzen sichtbar: Portierungen plattformübergreifender Apps nach Android bleiben ein offenes Problem, kein Modell erreicht 100% Passrate, und selbst „frontier models“ kommen bei Completion laut Angabe maximal auf etwa 80%.
Interessant ist außerdem, dass sich die Stärken und Schwächen nicht gleichmäßig verteilen. Google ordnet die Ergebnisse so ein, dass KI-Modelle deutlich besser beim Schreiben neuer Softwareteile abschneiden als beim Refactoring bestehender Systeme. Refactors und Migrations seien tückischer, weil der Erfolg weniger von der reinen Code-Menge abhängt, sondern von der Architekturkomplexität. In der Praxis heißt das: Ein Migrationserfolg hängt stärker an Kontext – etwa daran, wie Dependencies zusammenspielen, welche Schichten konsistent bleiben müssen und wie sich API-Änderungen sauber in bestehende Strukturen einbetten. Genau deshalb nennt Google auch Beispiele für Aufgaben, die vergleichsweise gut funktionieren: deterministische Umstellungen wie Java zu Kotlin konvertieren, Retrofit durch Ktor ersetzen oder eine ViewModel-Schicht einführen.
Gleichzeitig zeigt Android Bench 2.0 klar, wo Agentik und Modellwissen an Grenzen stoßen. Laut Google geraten Modelle vor allem bei Tasks unter Druck, die Laufzeitvalidierung erfordern – etwa wenn Dependency-Injection-Graphen fehlen oder nicht konsistent sind. Ebenso schwierig werden Breaking Framework Changes, weil hier nicht nur Code ersetzt wird, sondern Annahmen über das Laufzeitverhalten neu getroffen werden müssen. Auch Wissenslücken bei noch nicht freigegebenen Bibliotheken spielen eine Rolle: Sobald die Task-Umgebung Dependencys erwartet, die im Modellkontext nicht hinreichend bekannt sind, sinkt die Erfolgswahrscheinlichkeit. Für Teams, die KI als „Pair Programmer“ einsetzen, ist das ein Signal, dass Testing, Linting und klare Build-Pipelines weiterhin die Pflicht sind – KI ersetzt nicht die Verifikation.
Die nächste Stufe der Bewertung kommt über die Agent-Variante. Android Bench 2.0 führt Agent-Evaluierungen durch, bei denen „agents aus dem entsprechenden Modellanbieter“ laufen – also nicht nur das reine Modell entscheidet, sondern ein Agenten-Setup die Aufgabe iterativ ansteuert. Google nennt dabei Beispiele wie Gemini 3.8 Flash auf Google Antigravity und GPT-5.6 Sol mit Codex. Für die Bewertung ist außerdem entscheidend, dass Android Bench Agenten nicht im luftleeren Raum betrachtet, sondern mit denselben Ziel- und Constraint-Mechaniken wie zuvor arbeitet. Google sagt dabei auch, dass „harness design“ die Entwicklerergebnisse positiv beeinflusst; in der nächsten Ausbaustufe plant der Benchmark, stärker unterschiedliche Modell- und Agent-Kombinationen zu berücksichtigen.
Abseits der konkreten Benchmarks verschiebt Android Bench 2.0 damit die Messlatte für die KI-Entwicklung im Alltag. Kontinuierliche Scores und Regression-Avoidance adressieren ein typisches Unternehmensproblem: Viele „Demo-Prompts“ funktionieren, bis das Ergebnis in eine lebende Codebasis integriert wird. Wenn ein Benchmark stattdessen Completion über Funktion, UI-Treue und Stabilität misst, wird sichtbarer, welche Systeme wirklich in komplexe Engineering-Prozesse passen. Für Entscheider heißt das: Beim Aufbau von KI-Workflows sollten Teams stärker auf agentische Ausführung mit klaren Constraints, auf nachvollziehbare Testauswertungen und auf Iterationen setzen, die mit realistischen Task-Längen umgehen. Wer das ernst nimmt, kann Evaluationsresultate wie die 28% Passrate von GPT-6 Astra als pragmatische Richtlinie lesen – nicht als absoluten Maßstab für Produktivität, aber als belastbaren Vergleich, wie gut KI derzeit längere Entwicklungsstrecken durchhalten kann.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Android Bench 2.0: KI-Modelle im Langhorizont-Task-Test mit Agenten" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Android Bench 2.0: KI-Modelle im Langhorizont-Task-Test mit Agenten" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Android Bench 2.0: KI-Modelle im Langhorizont-Task-Test mit Agenten« bei Google Deutschland suchen, bei Bing oder Google News!