LONDON / LONDON (IT BOLTWISE) – In der Auswertung von ARC-AGI-3 senken zwei API-Schalter die Hürde für KI-Agenten deutlich. Durch „retained reasoning“ behält das Modell seine privaten Gedankenschritte über einzelne Spielzüge hinweg. Mit „compaction“ statt Rolling Truncation schrumpft zudem die Ausgabelast stark, während längere Lösungsreihen besser durchgehalten werden. Ergebnis: GPT-5.6 Sol erreicht alle sechs Aufgaben im eigenen Responses-API-Setup und erzielt damit etwa das Dreifache der öffentlichen Benchmarks.
Die Enttäuschung wirkt zunächst wie ein Widerspruch: GPT-5.6 Sol löst zwar in anderen Kontexten hartnäckige Probleme und bekannte Spiele herausragend, bleibt aber auf ARC-AGI-3 bei ungewöhnlich niedrigen Punktzahlen hängen. In der öffentlich verfügbaren Rangliste scheitert dabei sogar jedes „Frontier“-Modell zuverlässig an mehr als dem ersten Level; GPT-5.6 Sol kommt dort auf 7,8%, während GPT-5.5 kaum spielbar ist und nur 0,4% erreicht. Genau dieses Muster war der Auslöser für eine technische Ursachenanalyse: Die Benchmark misst nicht nur „das Modell“, sondern auch die unsichtbaren Entscheidungen darum herum, etwa welche API-Parameter, welcher Harness und welches Prompting die Bewertung anleiten.
ARC-AGI-3 selbst ist als Test für Lern- und Reasoning-Fähigkeiten angelegt: In 2D-Puzzlegames erkunden Agenten unbekannte Umgebungen und müssen aus Beobachtungen ableiten, wie das Spielprinzip funktioniert – ohne explizite Anleitung. Der Benchmark verwendet bewusst einen generischen Harness ohne Tools oder Spezialfunktionen, weil ARC damit Schwächen sichtbarer machen und Vergleiche fairer halten will. Genau hier liegt der Knackpunkt für Entwickler: Während kommerzielle Teams Harnesses oft an die Eigenheiten einzelner Modelle anpassen, laufen öffentliche Evaluierungen häufig über eine „Standardbrille“. Bei GPT-5.6 Sol zeigte sich dann, dass nicht nur das Aufgabenformat zählt, sondern wie Kontext über Spielzüge hinweg verwaltet wird.
Bei der tieferen Durchsicht des Evaluationsaufbaus fielen zwei Einstellungen besonders ins Gewicht. Erstens verwirft der öffentliche Harness nach jeder Aktion sämtliche privaten Gedankennachrichten. Damit wird das Modell nach jedem Zug faktisch gezwungen, das Spiel aus dem aktuellen Status heraus „neu zu verstehen“; es kann zwar eine Historie der bisherigen Züge und knappe Notizen sehen, aber nicht die Pläne und Insights, die direkt zum vorherigen Verhalten führten. Zweitens nutzt der Harness eine Rolling-Truncation-Strategie: Ältere Aktionen und Beobachtungen werden mit wachsender Historie schrittweise unsichtbar. Zusammen bedeutet das: Das Modell verliert nicht nur seine internen Gedanken, sondern auch den Kontext früherer Entscheidungen – und genau das erklärt, warum es über die Zeit nicht stabil besser lernt.
Um diese Lücke zu schließen, passten die Entwickler den ARC-AGI-3-Harness an ihre Produktionslogik an, indem sie den Test über die Responses API abbildeten. Die zentrale Idee: In ihrem Setup werden „private reasoning messages“ als Teil des Konversationsverlaufs beibehalten und können – solange die Kontextgrenzen es zulassen – über Tool-Calls und mehrere Schritte hinweg genutzt werden. Technisch wirkt sich das sofort aus: Wenn die privaten Gedankengänge erhalten bleiben, muss GPT-5.6 Sol weniger Zeit pro Aktion investieren, weil es nicht bei jedem Schritt die Aufgabe erneut aus dem Nichts rekonstruieren muss. Gleichzeitig wird Lernen über längere Spielsequenzen deutlich konsistenter; das Modell kann seine früheren Strategien kohärenter weiterverwenden und so die Erfolgsquote über wiederholte Versuche hinweg steigern.
Der zweite Hebel betrifft, wie Kontextgrenzen gehandhabt werden. Öffentlich wird ARC-AGI-3 zunächst mit Rolling Truncation betrieben: Überschreitet der Prompt-Kontext eine Schwelle von 175.000 Zeichen, werden die ältesten Nachrichten entfernt. Rolling Truncation hat dabei zwei Nachteile: Erstens gehen frühere Beobachtungen und Aktionen verloren, was den Lernfortschritt direkt untergräbt. Zweitens arbeitet das System häufig mit einem „volleren“ Kontextfenster als nötig, was die Leistungsfähigkeit im Betrieb messbar beeinträchtigen kann. Als Alternative schalteten die Entwickler „compaction“ ein und ersetzten das Rolling-Prinzip durch eine Komprimierungslogik, die den relevanten Informationsgehalt länger verfügbar hält. Das Ergebnis: GPT-5.6 Sol bewahrte besser, was es über längere Läufe gelernt hatte, erzielte höhere Scores und kam mit weniger Output Tokens aus. In Summe beschreiben sie, dass „retained reasoning“ plus „compaction“ auf dem ARC-AGI-3-Harness ungefähr einen Faktor 3 beim Score erreichen, während die Output-Token etwa um den Faktor 6 sinken.
Für Unternehmen und Entwickler ist die eigentliche Aussage weniger „Welches Modell ist am klügsten?“, sondern „Wie sauber ist die Messapparatur?“. Benchmarks wie ARC-AGI-3 können großartig sein, aber sie verpacken die Testlogik in einem Evaluator-Setup. Wenn dieser Evaluator reasoning-Nachrichten verwirft oder Kontext historienbasiert wegrollt, bewertet die Benchmark zwangsläufig eine andere Eigenschaft als die produktive Realität in Chat- oder Agentensystemen. Genau deshalb formulieren die Entwickler als Empfehlung für API-Teams: die Responses API statt der Legacy Chat Completions API zu nutzen, retained reasoning zu aktivieren und compaction statt Rolling Truncation einzusetzen. Für Modellvergleiche bedeutet das praktisch, dass Evals möglichst an die Produktionssettings gekoppelt werden sollten, damit Unterschiede nicht aus Harness-Artefakten entstehen.
Der zweite Effekt betrifft die Wettbewerbsdynamik: Wenn eine Rangliste durch die Einstellungen des Eval Runner verzerrt wird, verschieben sich Entscheidungen in Beschaffung, Deployment-Strategien und Priorisierung von Modell-Follow-ups. Das kann dazu führen, dass Teams Optimierungen auf der „falschen Ebene“ betreiben – etwa Prompting und Prompt-Hacking, statt Kontext- und State-Handling sauber zu implementieren. ARC-AGI-3 bleibt trotzdem wertvoll, weil die Aufgabe selbst klar benennt, was getestet werden soll: Lernen und Reasoning in unbekannten Umgebungen. Nur der Maßstab „wie gut“ hängt dann entscheidend davon ab, ob die Agentenfähigkeit so abgebildet wird, wie sie in der Praxis genutzt wird.
Wer die Experimente nachvollziehen will, findet die öffentlichen ARC-Spiele über arcprize.org/tasks. Aus Sicht der Technik entscheidet dabei oft nicht nur das Modellgewicht, sondern die Art, wie State gespeichert, komprimiert und in mehreren Schritten wiederverwendet wird. Gerade bei agentischen Workflows ist das relevant, weil Aufgaben selten in einem einzigen Prompt enden. Wenn ein System seine eigenen Zwischenschritte nicht konsistent über Spielzüge oder Tool-Calls hinweg behält, wird Lernen zur kurzatmigen Rekonstruktion. Mit retained reasoning und compaction bekommt der Agent dagegen eine Gedächtnisspur, die zu dem passt, was viele produktive KI-Anwendungen bereits erwarten – und genau deshalb fällt ARC-AGI-3 in diesem Setup deutlich „besser“ aus.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Wie zwei API-Einstellungen ARC-AGI-3 verdreifachen: Retained Reasoning & Compaction" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Wie zwei API-Einstellungen ARC-AGI-3 verdreifachen: Retained Reasoning & Compaction" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Wie zwei API-Einstellungen ARC-AGI-3 verdreifachen: Retained Reasoning & Compaction« bei Google Deutschland suchen, bei Bing oder Google News!