MIAMI / LONDON (IT BOLTWISE) – Der KI-Startup Subquadratic weckt mit SubQ große Erwartungen: weniger Energie, niedrigere Kosten und eine deutlich höhere Verarbeitungskapazität dank einer neuartigen Variante der Attention in Large Language Models. Nachdem anfangs kaum Fremdbelege vorlagen, veröffentlicht das Unternehmen inzwischen unabhängige Testresultate, unter anderem von Appen. Für Unternehmen wird damit vor allem eine Frage dringlich: Lassen sich teure LLM-Workloads für Dokumentanalyse und Code-Aufgaben künftig wirtschaftlich skalieren, ohne bei der Qualität abzustreifen?
Subquadratic aus Miami tritt seit Kurzem aus der Stealth-Phase heraus und stellt eine Behauptung in den Raum, die viele Teams im Alltag nur zu gut kennen: Die zentralen Rechenkosten moderner Large Language Models werden nicht primär durch „mehr Daten“ oder „größere Modelle“, sondern durch einen Engpass in der Modellarchitektur verursacht. Im Mittelpunkt steht eine neue LLM-Variante namens SubQ, die laut Anbieter schneller und deutlich günstiger laufen soll und dabei weniger Energie verbraucht als gängige Modelle. Besonders provokant: SubQ soll in bestimmten Lasten die Verarbeitungskapazität stark erhöhen und beim Codieren nahe an die Performance der Spitzenreiter aus dem Markt herankommen.
Dass die ersten Aussagen zunächst auf Skepsis stießen, war absehbar. Der Startup-Fall folgte dem Muster vieler ambitionierter KI-Startups: Mit wenigen, teils selbst publizierten Kennzahlen startete das Unternehmen eine Diskussion, aber ohne breite, unabhängige Verifikation. In der Zwischenzeit versucht Subquadratic, die Glaubwürdigkeit über „Receipts“ nachzureichen. Laut Bericht wurden zusätzliche Informationen bereitgestellt und unabhängige Tests durch eine Drittpartei, Appen, durchgeführt. Damit verschiebt sich die Debatte von reinen Marketingclaims hin zu der Frage, ob eine Architekturänderung im Attention-Mechanismus tatsächlich messbar die Kostenkurve für Langkontext- und Datenanalyse-Workloads verändert.
Um die Tragweite einzuordnen, lohnt der Blick auf die technische Basis heutiger LLMs. Der dominierende Baustein ist der Transformer mit „dense attention“, also einer Form von Attention, bei der jedes Token mit nahezu allen anderen Token-Kandidaten in Beziehung gesetzt wird. So entsteht für lange Sequenzen eine quadratisch wachsende Anzahl von Rechenoperationen: Verdoppelt sich die Textlänge, steigt der Rechenaufwand grob mit dem Faktor vier. Diese Eigenschaft macht moderne Modelle in der Praxis teuer und energieintensiv, insbesondere dann, wenn Unternehmen große Dokumentmengen in einem Stück verarbeiten wollen. Genau dort setzt SubQ an.
Subquadratic behauptet, es habe den Kernmechanismus, die dense attention, durch sparse attention ersetzt. Anstatt für jedes Token Multiplikationen mit allen anderen Token durchzuführen, wählt die Architektur nur einen Teil der relevanten Beziehungen aus und reduziert dadurch die Berechnungsmenge. Der entscheidende Punkt ist allerdings nicht „sparse“ als Schlagwort, sondern wie dynamisch und lernfähig diese Selektion erfolgt. Frühere Ansätze setzten oft auf feste Muster, etwa „Token i mit Token i+4 vergleichen“, was der Sprachvielfalt nur eingeschränkt gerecht wird. SubQ soll die Auswahl hingegen „on the fly“ treffen und je Eingabe unterschiedlich priorisieren, wodurch das Modell trotz geringerer Rechenlast die Bedeutung ganzer Dokumente besser erfassen können soll.
Wie gut das funktioniert, wird in mehreren Tests sichtbar gemacht. Appen habe SubQ unter anderem in einem Speed-Setting geprüft und dort einen massiven Vorsprung gegenüber einem Referenzansatz mit FlashAttention berichtet. In einem coding-nahen Benchmark, LiveCodeBench, soll SubQ zudem eine Quote von 89,7% erreicht haben und damit in der Nähe anderer etablierter Coding-Modelle liegen. In einer weiteren Messung, dem „needle in a haystack“-Stil, wurden sehr große Kontextfenster betrachtet, bis hin zu mehreren Millionen Tokens. Solche Ergebnisse sind besonders relevant, weil Unternehmen beim Retrieval und bei der Analyse großer Wissensbestände typischerweise nicht nur „Antwortqualität“, sondern auch stabile Leistung unter Langkontext-Anforderungen erwarten.
Doch die Marktwirkung hängt an Details, die man bei Benchmarks leicht übersieht. Zum einen ist die Verfügbarkeit entscheidend: SubQ ist noch nicht breit zugänglich, wodurch reale Lastprofile, Latenzen im Betrieb und „hidden failure modes“ im Feld bislang schwerer zu prüfen sind. Zum anderen bleibt eine technische Einordnung des Claims erforderlich: Subquadratic soll die Einbettungen bzw. Gewichte teilweise aus Qwen übernommen haben, um mit einem vorhandenen Startpunkt zu bootstrappen, statt das Modell von Grund auf neu zu trainieren. Das ist in der Branche nicht ungewöhnlich, widerspricht aber der Tonalität „wir haben den grundlegenden Engpass komplett neu erfunden“. Experten wie Will Depue ordnen das daher als möglich nützliches Ergebnis ein, aber noch nicht als endgültigen Beweis für die stärkste These.
Für den Wettbewerb stellt sich dennoch eine klare Frage: Wenn sparsame Attention-Mechanismen tatsächlich die Kosten dominanter Inferenzpfade drücken, könnten sich Anbieter auf neue Nutzungsfälle fokussieren, in denen Unternehmen besonders große Textmengen und komplexe Code-Aufgaben verarbeiten. Subquadratic nennt selbst eine Richtung: SubQ sei vor allem für Coding und die Suche in sehr großen Datenbeständen optimiert, und das zu einem Bruchteil typischer Kosten, etwa im Vergleich zu einem teuren Benchmark-Setup mit Opus 4.6 über RULER 128. Selbst wenn nicht jedes Resultat generalisierbar ist, könnte die Marktlogik kippen: Nicht jedes Team baut die teuersten Modelle überall ein; viele würden lieber schlanke, zieloptimierte Systeme orchestrieren. In diesem Kontext wirken selbst etablierte Player wie Google DeepMind, OpenAI oder Anthropic weniger als direkte Bedrohung, sondern eher als Referenz, an der sich neue Effizienz-Familien messen lassen müssen.
Die nächsten Monate werden zeigen, ob SubQ als Ausreißer oder als Trendsetter endet. Technisch ist die Perspektive eng mit der Infrastrukturfrage verknüpft: Sparse attention nutzt zwar weniger Rechenarbeit, muss aber effizient implementiert werden, damit GPU-Kerne, Speichersysteme und Batch-Strategien den Vorteil nicht durch Overhead wieder auffressen. Marktseitig wird entscheidend sein, ob unabhängige Evaluationen nicht nur Speed und einzelne Benchmarks liefern, sondern auch Robustheit, Halluzinationsneigung, Tool-Use-Performance und Verhalten bei „messy“ Unternehmensdaten. Regulatorisch und datenschutzrechtlich spielt zudem die Energie- und Kostenoptimierung indirekt eine Rolle: Weniger Rechenaufwand bedeutet häufig weniger Log- und Transferbedarf im Betrieb und kann damit die Compliance-Schwere erleichtern, sofern Datenflüsse kontrolliert bleiben. Für Entwickler eröffnet sich zugleich eine praktische Chance: Teams können KI-Architekturen künftig stärker über Kostenmodelle, Kontextfenster und Mess-Setups steuern, statt nur über Parameterzahlen zu diskutieren.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Subquadratic mit SubQ: Sparsame Attention verspricht große KI-Effizienz" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Subquadratic mit SubQ: Sparsame Attention verspricht große KI-Effizienz" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Subquadratic mit SubQ: Sparsame Attention verspricht große KI-Effizienz« bei Google Deutschland suchen, bei Bing oder Google News!