LONDON (IT BOLTWISE) – Startups treiben eine neue Generation von KI-Entwürfen voran, die den Transformer-Engpass bei großen Sprachmodellen adressieren. Im Zentrum stehen effizientere Attention-Mechanismen, kleinere KI-Modelle und Ansätze, die Text nicht mehr Wort für Wort erzeugen. Gleichzeitig rücken Verfahren in den Fokus, die KI-„Kontext“ und Rechenlast bei langen Eingaben besser im Griff behalten. Für Unternehmen wird damit die Frage konkreter, wie sich Leistung, Kosten und Energiebedarf künftig in der KI-Entwicklung zusammenbringen lassen.
Große Sprachmodelle basieren heute praktisch überall auf derselben Grundidee: Transformers. Der Durchbruch „Attention Is All You Need“ von 2017 machte aus einem bis dahin eher speziellen Baustein das Rückgrat nahezu sämtlicher Mainstream-LLMs. Doch der Erfolg hat auch Nebenwirkungen. Sobald Eingabetexte länger werden, steigt der Rechenaufwand für die klassische dense attention überproportional, und damit wächst die Energie- und Kostenlast. Die Folge ist spürbar: Ein Dokument mit 10.000 Wörtern kann nach der im Text skizzierten Rechnung bereits für dutzende Millionen Multiplikationen sorgen. Genau diese Wachstumsrichtung wird aktuell von mehreren Startups direkt angegangen.
Im Kern geht es dabei um die Frage, wie ein Modell Aufmerksamkeit verarbeitet, ohne die Bedeutung von Textblöcken schlechter zu treffen. Subquadratic aus Miami nennt mit SubQ einen Ansatz für sparse attention, der nicht mehr alle Wortpaare gegeneinander rechnet, sondern dynamisch entscheidet, welche Tokens in einem gegebenen Kontext wirklich relevant sind. Das Ziel ist klar: Rechenarbeit drastisch reduzieren, während die Qualität bei Aufgaben wie Suche und Codierung möglichst nah an den großen, dichten Modellen bleibt. Manifest AI aus San Francisco setzt dagegen auf eine andere Entwurfslogik. Statt attention-Mechaniken umzubauen, spricht das Startup von „power retention“: Es hält nur die relevanten Informationen als fortlaufende Zusammenfassung im Kontext, statt die komplette Historie im Speicher des Modells aufzublasen. Das adressiert gleich zwei Grenzen gleichzeitig – die steigende Aufmerksamkeitskomplexität und das Problem, dass die praktische Kontextlänge in vielen Deployment-Szenarien irgendwann zum Flaschenhals wird.
Während diese beiden Teams den Rechen- und Kontext-„Grundrausch“ bearbeiten, verschiebt Liquid AI aus Cambridge (Massachusetts) den Maßstab der Modelle. Das Startup entwickelt liquid foundation models, kurz LFMs, die nach eigener Beschreibung deutlich kleiner ausfallen und weniger Energie benötigen als viele klassische LLMs. Technisch wichtig ist dabei die Mischung: Liquid AI kombiniert zu einem Teil Transformers mit liquid neural networks. Letztere sollen sich ähnlich wie ein adaptives System verhalten, das sein Verhalten an neue Informationen anpasst, statt nach dem Training dauerhaft „fest verdrahtet“ zu sein. Solche Eigenschaften klingen zunächst eher wie Forschungsideen, werden aber im Text an konkreten Zielbildern festgemacht: Modelle für Fahrzeughersteller, Laufzeiten sogar auf einem Raspberry-Pi-ähnlichen Setup (genannt werden etwa 50 US-Dollar), sowie eine Verfügbarkeit für Organisationen mit einem Jahresumsatz unter 10 Mio. US-Dollar. Bemerkenswert ist zudem die behauptete Performance-Relation, bei der neue Modelle den Rivalen viermal größer entsprechen sollen – der springende Punkt für Entscheider: Effizienz und Flexibilität statt reiner Skalierung.
Eine besonders andere Konsequenz ergibt sich aus dem Wunsch, nicht mehr nur inkrementell Token für Token zu produzieren. Inception aus Palo Alto setzt hier auf Diffusion für Textgeneration: Das Modell soll nicht die nächsten Wörter nacheinander vorhersagen, sondern ganze Textblöcke in einem Schritt „ausrauschen“ wie bei Bildmodellen, nur eben mit Text statt Pixeln. In der Darstellung bleibt der Transformer als Encoder fürs Verstehen erhalten, aber die Ausgabe erfolgt effizienter, indem viele Tokens gleichzeitig antizipiert werden. Dass diffusion als Technik aus dem Bild- und Videobereich kommt, macht den Ansatz zugleich spannend und riskant: Bei Bildern existieren Zwischenzustände, bei Text zwischen „cat“ und „dog“ jedoch nicht in derselben Form. Der Text ordnet das dennoch in eine harte Forschungslinie ein, indem von einer mathematischen Ausarbeitung 2024 die Rede ist, die die Übertragung von Diffusion auf Text rechnerisch ermöglicht habe. Für die Praxis heißt das: Weniger Inferenzschritte pro Antwort, potenziell schnellere Latenz und damit günstigere Nutzung bei gleichen Nutzerzahlen.
Doch Effizienz ist nicht nur ein Engineering-Thema, sondern auch eine Frage, ob die Eingabeform überhaupt die passende Sprache für ein Problem ist. Pathway aus Palo Alto will LLMs daher stärker von der Wortsequenz-Logik lösen, die Transformers faktisch erzwingen. Das Startup nennt seinen LLM-Ansatz Dragon Hatchling und ordnet ihn über eine Benchmark-Erzählung ein: In einem Sudoku-Test, der aus über 250.000 sehr schweren Rätseln besteht, habe das Modell mehr als 97% gelöst, während mehrere führende Modelle laut Darstellung keinen einzigen Treffer landeten. Ob man solche Benchmarks im Detail als vollständigen Realitätsersatz akzeptiert, ist weniger wichtig als die Stoßrichtung: Transformers sind extrem gut in einer bestimmten Art von Musterverarbeitung, aber sie drängen Probleme in Textfolgen, obwohl manche Aufgaben eher nach abstrakter Struktur verlangen. Pathway ersetzt daher die attention-nahe Logik durch state spaces. Laut Beschreibung komprimiert das eine stärker abstrakte Repräsentation statt „Wort für Wort“ zu zählen – mit dem Versprechen, auch Aufgaben zu lernen und zu bearbeiten, bei denen die Lösung nicht elegant als lange sprachliche Kette darstellbar ist.
Für die KI-Entwicklung in Unternehmen verdichtet sich damit eine recht eindeutige Strategie-Diskussion: Viele Teams stehen nicht mehr vor der Wahl „Skalieren wir weiter?“, sondern „Wie genau sparen wir pro Anfrage Rechenzeit und Energie, ohne Qualität zu verlieren?“. Sparse attention und power retention zielen auf das klassische Komplexitätsproblem beim Kontextaufbau; Liquid AI setzt auf kleinere, energieärmere Architekturen mit veränderter Lern- und Adaptionsdynamik; diffusion-basiertes Textgenerieren und state-space-Ansätze verschieben Output- und Reasoning-Mechaniken. Gleichzeitig bleibt das Ökosystem offen: Der Text betont, dass manche Claims ambitioniert seien und in der Branche teils skeptisch betrachtet würden. Genau deshalb lohnt sich für Entscheider ein pragmatischer Blick auf Metriken wie Latenz pro Anfrage, Kosten pro erzeugtem Inhalt, Stabilität bei langen Eingaben und die Frage, wie gut sich ein Modell in Agenten-Workflows einsetzen lässt. In der Summe deutet das auf eine nächste Wettbewerbsrunde hin, in der nicht nur das Modell „intelligent“ wirken muss, sondern in der KI-Infrastruktur, Modellarchitektur und Energieprofil gleichzeitig optimiert werden.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Neue Startups greifen den Transformer-Engpass bei großen Sprachmodellen an" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Neue Startups greifen den Transformer-Engpass bei großen Sprachmodellen an" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Neue Startups greifen den Transformer-Engpass bei großen Sprachmodellen an« bei Google Deutschland suchen, bei Bing oder Google News!