Neue Studie widerspricht Apples KI-Forschung zu Denkprozessen

LONDON (IT BOLTWISE) – Apples jüngste Veröffentlichung über die Grenzen von Large Reasoning Models (LRMs) hat in der KI-Community für Aufsehen gesorgt. Doch nicht alle Experten stimmen mit den Schlussfolgerungen überein.

Apples jüngste Veröffentlichung mit dem Titel „The Illusion of Thinking“ hat in der KI-Community für Aufsehen gesorgt. Die Studie kommt zu dem Schluss, dass selbst die fortschrittlichsten Large Reasoning Models (LRMs) bei komplexen Aufgaben versagen. Doch nicht alle Experten stimmen mit dieser Einschätzung überein. Alex Lawsen, ein Forscher bei Open Philanthropy, hat eine detaillierte Widerlegung veröffentlicht, die darauf hinweist, dass viele der aufsehenerregenden Ergebnisse von Apple auf experimentelle Designfehler zurückzuführen sind und nicht auf grundlegende Grenzen der Denkfähigkeit.

Lawsen argumentiert, dass Apples Studie praktische Ausgabebeschränkungen und fehlerhafte Bewertungskriterien mit tatsächlichem Denkversagen verwechselt. Er hebt drei Hauptprobleme hervor: Erstens wurden die Token-Budget-Grenzen in Apples Interpretation ignoriert. Bei Aufgaben wie dem Tower of Hanoi mit mehr als acht Scheiben stießen Modelle wie Claude bereits an ihre Token-Ausgabengrenzen. Zweitens wurden unlösbare Rätsel als Misserfolge gewertet, was die Modelle für das Erkennen und Ablehnen solcher Aufgaben bestrafte. Drittens unterschieden die Bewertungsskripte nicht zwischen Denkversagen und Ausgabetrunkierung.

Um seine Argumente zu untermauern, führte Lawsen alternative Tests durch, bei denen die Modelle aufgefordert wurden, einen rekursiven Lua-Code zu generieren, der die Lösung ausgibt, anstatt alle Schritte aufzulisten. Die Ergebnisse zeigten, dass Modelle wie Claude, Gemini und OpenAI’s o3 problemlos algorithmisch korrekte Lösungen für 15-Scheiben-Hanoi-Probleme erzeugen konnten, weit über die Komplexität hinaus, bei der Apple keinen Erfolg berichtete.

Diese Debatte ist mehr als nur akademisches Gezänk. Die Apple-Studie wurde weithin als Beweis dafür zitiert, dass heutige LLMs grundsätzlich keine skalierbare Denkfähigkeit besitzen. Lawsen hingegen legt nahe, dass die Wahrheit nuancierter sein könnte: Ja, LLMs haben Schwierigkeiten mit der langen Token-Aufzählung unter den aktuellen Einsatzbeschränkungen, aber ihre Denkmaschinen sind möglicherweise nicht so zerbrechlich, wie die ursprüngliche Studie impliziert.

Lawsen erkennt an, dass die wahre algorithmische Generalisierung weiterhin eine Herausforderung darstellt und seine erneuten Tests noch vorläufig sind. Er schlägt vor, dass zukünftige Arbeiten sich auf die Gestaltung von Bewertungen konzentrieren sollten, die zwischen Denkfähigkeit und Ausgabebeschränkungen unterscheiden, die Lösbarkeit von Rätseln vor der Bewertung der Modellleistung überprüfen und Komplexitätsmetriken verwenden, die die rechnerische Schwierigkeit widerspiegeln.

Die Frage ist nicht, ob LRMs denken können, sondern ob unsere Bewertungen zwischen Denken und Tippen unterscheiden können. Bevor wir das Denken als gescheitert erklären, könnte es sich lohnen, die Standards zu überprüfen, nach denen dies gemessen wird.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!