Tensormesh optimiert KI-Inferenz mit innovativer Cache-Technologie

SAN FRANCISCO / LONDON (IT BOLTWISE) – Tensormesh, ein neues Unternehmen im Bereich der KI-Infrastruktur, hat 4,5 Millionen US-Dollar in einer Seed-Finanzierungsrunde gesammelt. Mit dieser Investition plant das Unternehmen, seine Open-Source-Technologie LMCache in ein kommerzielles Produkt zu verwandeln, das die Effizienz von KI-Inferenzprozessen erheblich steigern soll.

In der heutigen Zeit, in der die Nachfrage nach KI-Infrastruktur exponentiell wächst, stehen Unternehmen unter dem Druck, die Effizienz ihrer GPU-Nutzung zu maximieren. Tensormesh, ein aufstrebendes Unternehmen, das kürzlich aus dem Stealth-Modus hervorgetreten ist, hat sich dieser Herausforderung angenommen. Mit einer Seed-Finanzierung von 4,5 Millionen US-Dollar, angeführt von Laude Ventures und unterstützt durch den Datenbankpionier Michael Franklin, plant Tensormesh, seine Open-Source-Technologie LMCache in ein kommerzielles Produkt zu verwandeln.

LMCache, entwickelt von Tensormesh-Mitbegründer Yihua Cheng, ist ein Schlüsselwert-Cache-System, das die Inferenzkosten um bis zu das Zehnfache senken kann. Diese Technologie hat bereits in der Open-Source-Community Fuß gefasst und wurde von Branchengrößen wie Google und NVIDIA integriert. Tensormesh zielt darauf ab, diese akademische Anerkennung in ein tragfähiges Geschäftsmodell zu überführen.

Das Herzstück von LMCache ist ein Schlüsselwert-Cache (KV-Cache), der in traditionellen Architekturen nach jeder Abfrage verworfen wird. Tensormesh-CEO Junchen Jiang argumentiert, dass dies eine enorme Quelle der Ineffizienz darstellt. Anstatt diesen Cache zu verwerfen, speichert Tensormesh ihn, um ihn bei ähnlichen Prozessen in separaten Abfragen wiederzuverwenden. Da GPU-Speicher so wertvoll ist, kann dies bedeuten, Daten über mehrere Speicherebenen zu verteilen, aber die Belohnung ist eine signifikant höhere Inferenzleistung bei gleicher Serverlast.

Diese Änderung ist besonders für Chat-Schnittstellen von Vorteil, da Modelle kontinuierlich auf das wachsende Chat-Protokoll zurückgreifen müssen, während das Gespräch fortschreitet. Agentensysteme haben ein ähnliches Problem mit einem wachsenden Protokoll von Aktionen und Zielen. Theoretisch könnten KI-Unternehmen diese Änderungen selbst umsetzen, aber die technische Komplexität macht dies zu einer entmutigenden Aufgabe. Angesichts der Forschungsarbeit des Tensormesh-Teams und der Komplexität der Details wettet das Unternehmen darauf, dass es eine große Nachfrage nach einem sofort einsatzbereiten Produkt geben wird.

Junchen Jiang betont, dass es eine große Herausforderung ist, den KV-Cache in einem sekundären Speichersystem effizient wiederzuverwenden, ohne das gesamte System zu verlangsamen. „Wir haben gesehen, dass Unternehmen 20 Ingenieure einstellen und drei bis vier Monate damit verbringen, ein solches System zu bauen. Oder sie können unser Produkt nutzen und es sehr effizient umsetzen“, sagt Jiang.

Bestseller Nr. 1 ᵃ⤻ᶻ «KI Gadgets»

Neu 2025 KI Übersetzer Kopfhörer, 3-in-1 Echtzeit Sprachübersetzer Ohrhörer mit 164 Sprachen & 7 Modi, Bluetooth 5.4 Kopfhörer Übersetzer mit App, LED Display, 42H Laufzeit für Reisen Weiß

37,99 EUR

Bestseller Nr. 2 ᵃ⤻ᶻ «KI Gadgets»

Neu 2025 KI Übersetzer Kopfhörer, 3-in-1 Echtzeit Sprachübersetzer Ohrhörer mit 164 Sprachen & 7 Modi, Bluetooth 5.4 Kopfhörer Übersetzer mit App, LED Display, 42H Laufzeit für Reisen/Business Schwarz

35,99 EUR

Bestseller Nr. 3 ᵃ⤻ᶻ «KI Gadgets»

Apple AirTag - Finde und behalte Deine Sachen im Blick: Schlüssel, Geldbörsen, Gepäck, Rucksäcke und mehr. Einfaches Einrichten mit iPhone oder iPad. Austauschbare Batterie

30,99 EUR

Bestseller Nr. 4 ᵃ⤻ᶻ «KI Gadgets»

KI Übersetzer Kopfhörer, Bluetooth 5.4 Kopfhörer Übersetzer mit 164 Sprachen kopfhörer übersetzer echtzeit mit 7 Modi, ENC Rauschunterdrückung AI-Assistent 56H Laufzeit für Business, Reisen und Lernen

29,99 EUR

Bestseller Nr. 5 ᵃ⤻ᶻ «KI Gadgets»

Neu 2025 KI Übersetzer Kopfhörer, 3-in-1 Echtzeit Sprachübersetzer Ohrhörer mit 164 Sprachen & 7 Modi, Bluetooth 5.4 Kopfhörer Übersetzer mit App, LED Display, 42H Laufzeit für Reisen Roségold

35,99 EUR

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!