PRINCETON / LONDON (IT BOLTWISE) – Ein neuer Benchmark testet, ob KI-Agenten als Startup-Chefs über 500 simulierte Tage eine stimmige Strategie verfolgen. Forscher der Princeton University koppeln dafür Code- und Datenbankarbeit mit Management-Entscheidungen, Marktzyklen und Cash-Risiken. In den Tests scheitern die meisten Modelle schon vor dem Ende – eine einfache regelbasierte Heuristik schlägt fast alle Sprachmodell-Agenten. Damit rückt „Steering Intelligence“ in den Fokus, also die Fähigkeit, Handlungen über lange Horizonte zu koordinieren.
Die nächste Stufe von KI-Agenten wirkt weniger wie ein einzelnes „Feature“, sondern eher wie ein neues Prüfverfahren für unternehmerische Steuerung. Im Benchmark CEO-Bench übernehmen KI-Systeme die Rolle einer fiktiven Geschäftsführung und müssen ein Abo-Software-Unternehmen über 500 simulierte Tage führen. Bewertet wird nicht, ob Antworten „gut klingen“, sondern ob die Simulation am Ende genügend Liquidität übrig lässt: Sobald das Startkapital von 1 Million Dollar auch nur einmal unter null fällt, endet das Spiel sofort. Damit wird ein klassisches Unternehmensproblem operationalisiert – Timing, Unsicherheit und Budgetdisziplin unter Echtweltbedingungen.
Technisch verzahnen die Forscher dabei Agenten mit einer sehr konkreten Arbeitsumgebung. Der KI-Chef steuert NovaMind über eine programmierbare Python-Schnittstelle mit 34 Werkzeugen, während eine Datenbank aus 19 Tabellen als Informationsbasis dient. Entscheidend ist die Ausführungsform: Der Agent „schreibt“ eigenen Code, ruft Kennzahlen mit SQL ab und orchestriert daraus Workflows, statt nur kurze Befehle an ein starres System zu delegieren. Die 500-Tage-Langzeitaufgabe koppelt Datenbankabfragen, Management-Tool-Interaktionen und Social-Media-Aktivitäten eng an Marktzyklen und Ergebniskennzahlen wie Ticketauflösungen, Kündigungen und Abonnentenwachstum.
Der Benchmark adressiert damit genau die Lücke, die bei vielen bisherigen Tests unterging: In der realen Geschäftsführung sind Entscheidungen selten einzelne „Tasks“, sondern Ketten von Trades unter Unsicherheit. Ein Budget wirkt nicht sofort; Werbeausgaben entfalten sich oft erst an Abrechnungszeitpunkten, Forschungszyklen dauern Tage bis Wochen, und Fehler zeigen sich häufig verzögert über Abwanderung oder Reputation. Gleichzeitig bleibt der Agent in Teilen „blind“: Kundenzufriedenheit und Zahlungsbereitschaft müssen indirekt aus verrauschten Signalen wie Support-Anfragen, Kündigungen oder Social-Interaktionen erschlossen werden. Zudem ändern sich Rahmenbedingungen fortlaufend, etwa durch anziehende Qualitätsansprüche von Konkurrenten, verschobene Präferenzen und einen simulierten Konjunkturzyklus.
Am Markt zeigt sich das Problem besonders deutlich in den Ergebnissen: Von 14 getesteten Modellen scheitern die meisten an der Langzeitstrategie. Viele können zwar korrekte Befehle und Datenbankabfragen generieren, aber nicht über lange Horizonte eine kohärente Steuerung aufbauen. Nur drei Systeme beenden ihre besten Läufe über dem Startkapital: Claude Fable 5 erreicht 47,15 Millionen Dollar, Claude Opus 4.8 kommt auf 27,8 Millionen und GPT-5.5 auf 21,3 Millionen. Die besten Resultate sind dabei nicht „robust in jeder Runde“: Claude Fable 5 brach wegen einer Verweigerung ab, und bei GPT-5.5 gingen mehrere Läufe vorzeitig bankrott. Auffällig ist außerdem, dass die regelbasierte Faustregel einer Simulation ohne Sprachmodell-Aufrufe auf 15,76 Millionen Dollar kommt und damit zahlreiche KI-Modelle übertrifft – ein klarer Hinweis darauf, dass Durchhaltefähigkeit allein nicht reicht.
Für die Einordnung lohnt der Blick auf den Wettbewerbsmodus: Claude-Modelle und GPT-Systeme verfolgen in CEO-Bench unterschiedliche Strategien. Wie in der Analyse der Handlungsverläufe berichtet wird, probieren GPT-5.5 und Claude Opus 4.8 bei veränderten Bedingungen fortlaufend neue Ansätze aus – etwa beim Hochfahren der Kundengewinnung, beim Anpassen von Modellstufen oder bei der Umschichtung von Support- und Entwicklungsbudgets. Claude Opus 4.7 reagiert hingegen häufiger mit Sparen, also mit einer defensiveren Liquiditätswahrung, die das Überleben sichert, aber Gewinnchancen begrenzt. Experten ordnen solche Muster häufig als Mischung aus Exploration und Kapitalstrategie ein: Wer zu passiv bleibt, bleibt häufig bis zum Ende „am Leben“, erzielt aber keine nachhaltige Skalierung.
CEO-Bench misst Erfolg zudem nicht nur über Endkapital, sondern zerlegt ihn in Fähigkeiten, die langfristige Entscheidungsqualität erklären sollen. Dazu gehören das Aufdecken verborgener Informationen, etwa welcher Werbekanal für eine Kundengruppe besonders wirkt; die Zukunftsprognose über Fehler bei einer Vier-Wochen-Cash-Prognose; die Anpassungsfähigkeit, gemessen daran, wie schnell ein Modell einen Konkurrenz-Vorstoß erkennt; sowie vorausschauendes Planen, das unter anderem über die Häufigkeit „Wenn-dann“-Strukturen in Notizen erfasst wird. In allen vier Bereichen schneiden Opus 4.8 und GPT-5.5 im Schnitt besser ab als die übrigen getesteten Systeme. Zusätzlich liefert ein Vergleich der Werkzeugumgebung Hinweise: Werden speziell auf Softwareentwicklung ausgelegte Assistenten wie Claude Code oder Codex zugeschaltet, handeln die Agenten seltener und schneiden schlechter ab.
Aus historischer Perspektive ist CEO-Bench auch eine Reaktion auf die Grenzen früherer „Agenten-Benchmarks“. Die Studie verweist dabei explizit auf Vending-Bench, bei dem ein Sprachmodell-Agent durch unrealistische verbale Versprechen belohnt werden konnte – ein Problem, das entsteht, wenn die Belohnungsfunktion nicht die tatsächliche Wirkungskette abbildet. Indem CEO-Bench konsequent mit festen, nachvollziehbaren Regeln arbeitet, soll genau diese Art von Fehlanreiz vermieden werden. Für Unternehmen ist das mehr als akademische Eleganz: Es macht sichtbar, dass Tool-Kompetenz allein nicht in langfristige Unternehmenssteuerung übersetzt wird. Der technische Kern liegt in der Fähigkeit, über Zeiträume hinweg Ziele, Ressourcen und Unsicherheiten so zu koordinieren, dass eine Gesamtstrategie entsteht.
Auf die Praxis übertragen heißt das: Agenten-Fähigkeiten müssen künftig stärker als „Mikro“-Ausführung gedacht werden, sondern als Steuerungslayer, der Budget, Risiko und Datenflüsse zusammenbringt. Regulatorisch und datenschutzseitig entsteht dabei ein anderer Diskussionspunkt als bei klassischen Chatbots: Langlaufende Agenten, die in Tools schreiben, Datenbankabfragen durchführen und mit internen Kennzahlen arbeiten, benötigen saubere Zugriffskontrollen, Protokollierung und klare Datenschutzgrenzen. Gerade bei Social-Media-ähnlichen Funktionen und beim Umgang mit Kundenkohorten sollte die Lösung Mechanismen für Datenminimierung, Rollenbasierte Rechte und Auditierbarkeit mitbringen. Für die nächste Phase ist außerdem zu erwarten, dass Benchmarks wie CEO-Bench in Richtung Multi-Objective-Optimierung weiterentwickelt werden, etwa um Compliance, Sicherheitsziele oder Kapitalbeschaffung explizit zu bewerten.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "CEO-Bench: KI-Agenten steuern ein Startup 500 Tage – mit klaren Grenzen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "CEO-Bench: KI-Agenten steuern ein Startup 500 Tage – mit klaren Grenzen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »CEO-Bench: KI-Agenten steuern ein Startup 500 Tage – mit klaren Grenzen« bei Google Deutschland suchen, bei Bing oder Google News!