MÜNCHEN (IT BOLTWISE) – Die Entwicklung von KI-Modellen, die in der Lage sind, komplexe Probleme schrittweise zu lösen, hat in der Technologiebranche für Aufsehen gesorgt. Diese sogenannten ‘Reasoning’-Modelle, die von führenden KI-Laboren wie OpenAI entwickelt werden, versprechen eine höhere Leistungsfähigkeit in spezifischen Bereichen wie der Physik. Doch mit dieser gesteigerten Leistungsfähigkeit gehen auch erhebliche Kosten für die Benchmarking-Tests einher, die es erschweren, die Behauptungen der Hersteller unabhängig zu überprüfen.
Die Benchmarking-Kosten für diese fortschrittlichen KI-Modelle sind erheblich gestiegen. Laut Daten von Artificial Analysis, einem unabhängigen Testunternehmen, belaufen sich die Kosten für die Evaluierung des OpenAI o1 Reasoning-Modells auf 2.767,05 US-Dollar, wenn es über sieben gängige KI-Benchmarks getestet wird. Diese Benchmarks umfassen MMLU-Pro, GPQA Diamond, Humanity’s Last Exam, LiveCodeBench, SciCode, AIME 2024 und MATH-500.
Im Vergleich dazu kostete die Evaluierung des Claude 3.7 Sonnet von Anthropic, einem hybriden Reasoning-Modell, 1.485,35 US-Dollar, während die Tests des OpenAI o3-mini-high nur 344,59 US-Dollar kosteten. Einige Reasoning-Modelle sind günstiger zu testen, wie das OpenAI o1-mini, das mit 141,22 US-Dollar zu Buche schlug. Insgesamt hat Artificial Analysis rund 5.200 US-Dollar für die Evaluierung von etwa einem Dutzend Reasoning-Modellen ausgegeben, fast doppelt so viel wie für die Analyse von über 80 Nicht-Reasoning-Modellen.
Die hohen Kosten sind vor allem darauf zurückzuführen, dass Reasoning-Modelle eine große Anzahl von Tokens generieren. Tokens sind die kleinsten Einheiten von Text, die ein Modell verarbeitet. Zum Beispiel wird das Wort ‘fantastic’ in die Silben ‘fan’, ‘tas’ und ‘tic’ aufgeteilt. OpenAI’s o1 generierte während der Tests über 44 Millionen Tokens, etwa achtmal so viele wie das GPT-4o.
Die meisten KI-Unternehmen berechnen die Nutzung ihrer Modelle nach der Anzahl der generierten Tokens, was die Kosten in die Höhe treibt. Moderne Benchmarks fordern von den Modellen oft komplexe, mehrstufige Aufgaben, die eine hohe Token-Generierung erfordern. Jean-Stanislas Denain, ein leitender Forscher bei Epoch AI, erklärt, dass heutige Benchmarks die Fähigkeit der Modelle testen, reale Aufgaben zu bewältigen, wie das Schreiben und Ausführen von Code oder das Surfen im Internet.
Denain fügt hinzu, dass die teuersten Modelle im Laufe der Zeit pro Token teurer geworden sind. Zum Beispiel kostete das Claude 3 Opus von Anthropic bei seiner Veröffentlichung im Mai 2024 70 US-Dollar pro Million ausgegebener Tokens. OpenAI’s GPT-4.5 und o1-pro, die beide Anfang dieses Jahres auf den Markt kamen, kosten 150 US-Dollar bzw. 600 US-Dollar pro Million Tokens.
Viele KI-Labore, darunter OpenAI, bieten Benchmarking-Organisationen kostenlosen oder subventionierten Zugang zu ihren Modellen für Testzwecke. Doch einige Experten warnen, dass dies die Ergebnisse verfälschen könnte. Selbst wenn es keine Beweise für Manipulation gibt, könnte allein die Beteiligung eines KI-Labors die Integrität der Bewertungsergebnisse beeinträchtigen.
Ross Taylor, CEO des KI-Startups General Reasoning, äußerte Bedenken, dass die Ressourcen für akademische Einrichtungen oft nicht ausreichen, um die Ergebnisse der Labore zu reproduzieren. Er schätzt, dass ein einzelner Durchlauf des MMLU Pro, eines Fragebogens zur Bewertung der Sprachverständnisfähigkeiten eines Modells, mehr als 1.800 US-Dollar kosten würde.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Die steigenden Kosten der KI-Benchmarking-Tests" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Die steigenden Kosten der KI-Benchmarking-Tests" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Die steigenden Kosten der KI-Benchmarking-Tests« bei Google Deutschland suchen, bei Bing oder Google News!