LONDON (IT BOLTWISE) – Entwickler umgehen per Linux-Kernel-Modul eine Nvidia-Beschränkung bei Tensor-Operationen auf ausgewählten GeForce-Karten. Besonders bei FP16- und BF16-Rechenpfaden mit FP32-Akkumulation steigt der Tensor-Durchsatz teils nahe an das Doppelte. Für lokale Sprachmodelle beschleunigt das vor allem das Prompt-Prefill, während die Token-Ausgabe kaum zulegt. Für Bildgenerierung über ComfyUI werden dagegen bis zu 59 Prozent mehr Durchsatz gemeldet.
Wer lokale KI-Workloads auf einer GeForce-Karte betreibt, trifft in der Praxis immer wieder auf eine auffällige Lücke: Die Hardware wirkt bei bestimmten Matrixoperationen schneller, als es die offiziellen Kennzahlen vermuten lassen, aber eben nur innerhalb enger Zahlenformate und Akkumulationswege. Genau an diesem Punkt setzen die aktuellen „Tensor-Unlock“-Projekte an. Laut den veröffentlichten Testberichten begrenzen Nvidias Consumer-Varianten den Durchsatz bestimmter Tensor-Berechnungen, während Profi-Modelle und KI-Beschleuniger mit identischen Grafikchips die volle Rechenleistung nutzen können. Das Ergebnis: Nicht die Gesamtleistung der GPU wird umgeschaltet, sondern der Rechenpfad im Tensor-Block, der für FP16- und BF16-Matrizen mit FP32-Akkumulation relevant ist.
Technisch ist die Änderung dabei eher „präzise“ als „radikal“. Die Beschränkung betrifft laut den Untersuchungen nicht pauschal alle Tensor-Operationen, sondern die Kombination aus Zahlenformat (etwa BF16 oder FP16) und der Art, wie dabei akkumuliert wird. Viele aktuelle KI-Modelle nutzen BF16, weil es die Speicher- und Bandbreiteneffizienz von 16-Bit-Formaten mit einem FP32-ähnlichen Dynamikverhalten verbindet. Bei den betroffenen GeForce-Implementierungen läuft BF16 über Tensor-Kerne jedoch über einen begrenzten Rechenpfad, der die theoretische Rechenleistung nicht ausreizt. Die Unlock-Module ändern diese Konfiguration so, dass Tensor-Kerne bei den betroffenen Operationen mit höherem Durchsatz arbeiten; zusätzliche Recheneinheiten oder mehr Grafikspeicher kommen dabei nicht hinzu.
Damit verschiebt sich die Diskussion auch von „mehr Leistung pro GPU“ hin zu „mehr Leistung pro Workload“. Bei Ampere-Karten ist die am weitesten ausgearbeitete Lösung nach den verfügbaren Nutzerberichten das Projekt gpu-unlock 1.0.0 von Zagitta. Es setzt auf ein Linux-Kernel-Modul, das bereits in der Initramfs-Phase aktiv wird, also bevor der reguläre Nvidia-Treiber die GPU initialisiert. Der Ablauf startet dabei eine signierte Nvidia-Firmware mit Nutzlast, basiert auf früheren Untersuchungen zu Mining-Grafikkarten der CMP-Serie und setzt anschließend Register der Streaming-Multiprozessoren auf die höhere Rechenrate. Der unveränderte Nvidia-Treiber übernimmt danach wie gewohnt; ein modifiziertes VBIOS oder ein gepatchter Treiber sind in den Beschreibungen nicht erforderlich. Allerdings bleibt die Änderung nicht dauerhaft: Sie wirkt nur bis zum nächsten Neustart und muss bei jedem Systemstart erneut vorgenommen werden.
Die gemessenen Effekte fallen je nach Karte und Zahlenformat unterschiedlich aus. Für eine GeForce RTX 3090 Ti mit einem Test auf dichter Matrixmultiplikation (BF16, 8.192 Elemente, 450 Watt Power-Limit) wird ein Anstieg von 87,5 auf 157,4 TFLOPS gemeldet, also knapp 80 Prozent mehr. Bei TF32 liegt der Sprung in den veröffentlichten Messreihen von 42,6 auf 82,6 TFLOPS und damit bei rund 94 Prozent, während FP16 in demselben Setup weniger stark profitiert. Die praktischen Nutzerberichte ordnen diese Gewinne vor allem dem Prompt-Prefill lokaler Sprachmodelle zu: Wenn ein Modell zunächst den gesamten Eingabetext in einem „Prefill“-Schritt verarbeitet, fallen viele Tensor-Berechnungen an, die genau von einem höheren BF16- oder FP16-Durchsatz profitieren. Für die anschließende Textgenerierung einzelner Tokens bleibt der Vorteil dagegen oft deutlich kleiner, weil dann häufig Speicherbandbreite und andere Engpässe dominieren und der Tensor-Unlock weder GDDR6X noch die Speicheranbindung beschleunigt.
Bei Bildgenerierung ist das Verhältnis bislang anders. Für ComfyUI werden in einzelnen Nutzerstests auf einer GeForce RTX 3090 Ti je nach verwendetem BF16-Modell 47 bis 59 Prozent mehr Durchsatz genannt. Der Grund ist plausibel: Viele Bildmodelle führen während der Generierung wiederholt umfangreiche Matrixoperationen aus, sodass zusätzliche Tensor-Leistung stärker zum Tragen kommt als bei der Token-Ausgabe. Auch hier gilt jedoch die Einschränkung, dass es sich um Einzeltests handelt und nicht um einen unabhängigen Benchmark-Parcours über mehrere GPUs und viele Modellvarianten. Für Spiele wiederum wurden nach den Projektberichten keine messbaren FPS-Zugewinne nachgewiesen, weil weder Shader-Anzahl noch Raster- oder Raytracing-Pfade durch den Unlock verändert werden.
Spannend ist außerdem, wie gut sich der Ansatz auf andere Architekturen übertragen lässt. Für Ada Lovelace (GeForce RTX 4090) beschreibt das Projekt gpu-unlock-ada 1.1.1 einen funktionierenden Weg, der bei FP16- und BF16-Berechnungen mit FP32-Akkumulation den Tensor-Durchsatz von 165,6 auf 331,6 TFLOPS steigert. Damit wird der Sprung nahezu verdoppelt, allerdings ist der Erfolg bislang nur für ein einzelnes Kartenmodell nach einem Kaltstart detailliert dokumentiert; ob das auf weitere RTX-4090-Geräte zuverlässig übertragbar ist, bleibt offen. Experimentell unterstützt ein Fork außerdem die GeForce RTX 4070 Ti Super mit AD103, während bei FP8 im bislang einen gemessenen Test kaum zusätzlicher Nutzen sichtbar war. Für Turing (GeForce RTX 2080 Ti) existiert der Nachweis bislang noch weniger als „Produktionslösung“: Ein EFI-Loader startet den Eingriff bereits vor dem Betriebssystem, die Wirkung ist damit flüchtig und eignet sich nicht als regulärer Installationspfad.
Trotz der teils beachtlichen Zahlen bleibt der Tensor-Unlock ein experimentelles Konstrukt mit klaren Risiken. Da die Projekte in die GPU-Initialisierung eingreifen und Register über einen Firmware-Ablauf verändern, ist die Stabilität nicht garantiert; außerdem kann es problematisch werden, wenn die Firmware während des Vorgangs „hängt“. In den Beschreibungen wird deshalb erwähnt, dass nach einem fehlgeschlagenen Versuch ein vollständiges Ausschalten nötig sein kann, bevor man erneut versucht, die Freischaltung anzuwenden. Eine offizielle Unterstützung durch Nvidia gibt es nicht, und auch Windows-Nutzer können die Linux-Lösungen derzeit nicht einfach übernehmen: Der Ansatz existiert zwar in Form eines experimentellen UEFI-Ports, der aber nur für eine sehr spezifische Hardwarekonfiguration zuverlässig getestet ist. Für Unternehmen und Entwickler bedeutet das vor allem: Wer lokale KI betreibt und einzelne Workloads gezielt testen möchte, kann mit einem spürbaren Durchsatzplus rechnen, sollte aber die Betriebssicherheit, Rollback-Strategien und die Abhängigkeit vom jeweiligen Modellpfad konsequent in die Planung aufnehmen.
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Tensor-Unlock für GeForce: RTX 4090, 3090 Ti und Co. doppelt schneller bei KI-Matrizen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Tensor-Unlock für GeForce: RTX 4090, 3090 Ti und Co. doppelt schneller bei KI-Matrizen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Tensor-Unlock für GeForce: RTX 4090, 3090 Ti und Co. doppelt schneller bei KI-Matrizen« bei Google Deutschland suchen, bei Bing oder Google News!