Grenzen des Fortschritts: KI-Modelle stoßen an Leistungsgrenzen

BERKELEY / MÜNCHEN (IT BOLTWISE) – Die Entwicklung von KI-Modellen, die auf komplexes logisches Denken spezialisiert sind, könnte bald an ihre Grenzen stoßen. Eine aktuelle Analyse deutet darauf hin, dass die Fortschritte in der Leistungsfähigkeit solcher Modelle in naher Zukunft stagnieren könnten.

Die Künstliche Intelligenz hat in den letzten Jahren bemerkenswerte Fortschritte gemacht, insbesondere im Bereich der sogenannten Reasoning-Modelle, die für ihre Fähigkeit bekannt sind, komplexe Probleme zu lösen. Doch eine neue Analyse von Epoch AI, einem renommierten Forschungsinstitut, legt nahe, dass diese Entwicklung bald an ihre Grenzen stoßen könnte. Laut der Studie könnten die Fortschritte in der Leistungsfähigkeit dieser Modelle bereits innerhalb eines Jahres deutlich langsamer werden.

Reasoning-Modelle, wie das von OpenAI entwickelte Modell o3, haben in den letzten Monaten erhebliche Verbesserungen bei Benchmarks gezeigt, die mathematische und programmiertechnische Fähigkeiten messen. Diese Modelle nutzen eine enorme Rechenleistung, um Probleme zu lösen, was jedoch auch dazu führt, dass sie länger brauchen, um Aufgaben zu erledigen als herkömmliche Modelle.

Die Entwicklung solcher Modelle erfolgt in zwei Schritten: Zunächst wird ein konventionelles Modell mit einer großen Datenmenge trainiert. Anschließend wird eine Technik namens Verstärkungslernen angewendet, die dem Modell Feedback zu seinen Lösungen für schwierige Probleme gibt. Bisher haben führende KI-Labore wie OpenAI noch nicht die volle Rechenleistung auf die Phase des Verstärkungslernens angewendet.

OpenAI hat jedoch angekündigt, dass es bei der Entwicklung des Modells o3 etwa zehnmal mehr Rechenleistung eingesetzt hat als bei seinem Vorgänger o1. Epoch spekuliert, dass der Großteil dieser Rechenleistung dem Verstärkungslernen gewidmet war. OpenAI-Forscher Dan Roberts hat kürzlich enthüllt, dass das Unternehmen plant, in Zukunft noch mehr Rechenleistung für das Verstärkungslernen zu verwenden, sogar mehr als für das initiale Modelltraining.

Dennoch gibt es laut Epoch eine Obergrenze dafür, wie viel Rechenleistung auf das Verstärkungslernen angewendet werden kann. Josh You, Analyst bei Epoch und Autor der Analyse, erklärt, dass die Leistungssteigerungen durch das Standardtraining von KI-Modellen derzeit jedes Jahr vervierfacht werden, während die Leistungssteigerungen durch Verstärkungslernen alle 3-5 Monate verzehnfacht werden. Die Fortschritte im Reasoning-Training werden sich wahrscheinlich bis 2026 mit dem allgemeinen Fortschritt angleichen.

Epochs Analyse basiert auf mehreren Annahmen und stützt sich teilweise auf öffentliche Kommentare von Führungskräften aus der KI-Branche. Sie argumentiert jedoch auch, dass die Skalierung von Reasoning-Modellen aus anderen Gründen als der Rechenleistung herausfordernd sein könnte, einschließlich hoher Forschungskosten. “Wenn es einen anhaltenden Overhead für die Forschung gibt, könnten Reasoning-Modelle nicht so weit skalieren, wie erwartet”, schreibt You. “Die schnelle Skalierung der Rechenleistung ist potenziell ein sehr wichtiger Bestandteil des Fortschritts bei Reasoning-Modellen, daher lohnt es sich, dies genau zu verfolgen.”

Die Aussicht, dass Reasoning-Modelle in naher Zukunft an eine Leistungsgrenze stoßen könnten, dürfte die KI-Branche beunruhigen, die enorme Ressourcen in die Entwicklung dieser Modelle investiert hat. Bereits jetzt haben Studien gezeigt, dass Reasoning-Modelle, die unglaublich teuer im Betrieb sein können, ernsthafte Mängel aufweisen, wie eine Tendenz, mehr als bestimmte herkömmliche Modelle zu halluzinieren.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!