SAN FRANCISCO / LONDON (IT BOLTWISE) – Tensormesh, ein neues Unternehmen im Bereich der KI-Infrastruktur, hat 4,5 Millionen US-Dollar in einer Seed-Finanzierungsrunde gesammelt. Mit dieser Investition plant das Unternehmen, seine Open-Source-Technologie LMCache in ein kommerzielles Produkt zu verwandeln, das die Effizienz von KI-Inferenzprozessen erheblich steigern soll.
In der heutigen Zeit, in der die Nachfrage nach KI-Infrastruktur exponentiell wächst, stehen Unternehmen unter dem Druck, die Effizienz ihrer GPU-Nutzung zu maximieren. Tensormesh, ein aufstrebendes Unternehmen, das kürzlich aus dem Stealth-Modus hervorgetreten ist, hat sich dieser Herausforderung angenommen. Mit einer Seed-Finanzierung von 4,5 Millionen US-Dollar, angeführt von Laude Ventures und unterstützt durch den Datenbankpionier Michael Franklin, plant Tensormesh, seine Open-Source-Technologie LMCache in ein kommerzielles Produkt zu verwandeln.
LMCache, entwickelt von Tensormesh-Mitbegründer Yihua Cheng, ist ein Schlüsselwert-Cache-System, das die Inferenzkosten um bis zu das Zehnfache senken kann. Diese Technologie hat bereits in der Open-Source-Community Fuß gefasst und wurde von Branchengrößen wie Google und NVIDIA integriert. Tensormesh zielt darauf ab, diese akademische Anerkennung in ein tragfähiges Geschäftsmodell zu überführen.
Das Herzstück von LMCache ist ein Schlüsselwert-Cache (KV-Cache), der in traditionellen Architekturen nach jeder Abfrage verworfen wird. Tensormesh-CEO Junchen Jiang argumentiert, dass dies eine enorme Quelle der Ineffizienz darstellt. Anstatt diesen Cache zu verwerfen, speichert Tensormesh ihn, um ihn bei ähnlichen Prozessen in separaten Abfragen wiederzuverwenden. Da GPU-Speicher so wertvoll ist, kann dies bedeuten, Daten über mehrere Speicherebenen zu verteilen, aber die Belohnung ist eine signifikant höhere Inferenzleistung bei gleicher Serverlast.
Diese Änderung ist besonders für Chat-Schnittstellen von Vorteil, da Modelle kontinuierlich auf das wachsende Chat-Protokoll zurückgreifen müssen, während das Gespräch fortschreitet. Agentensysteme haben ein ähnliches Problem mit einem wachsenden Protokoll von Aktionen und Zielen. Theoretisch könnten KI-Unternehmen diese Änderungen selbst umsetzen, aber die technische Komplexität macht dies zu einer entmutigenden Aufgabe. Angesichts der Forschungsarbeit des Tensormesh-Teams und der Komplexität der Details wettet das Unternehmen darauf, dass es eine große Nachfrage nach einem sofort einsatzbereiten Produkt geben wird.
Junchen Jiang betont, dass es eine große Herausforderung ist, den KV-Cache in einem sekundären Speichersystem effizient wiederzuverwenden, ohne das gesamte System zu verlangsamen. „Wir haben gesehen, dass Unternehmen 20 Ingenieure einstellen und drei bis vier Monate damit verbringen, ein solches System zu bauen. Oder sie können unser Produkt nutzen und es sehr effizient umsetzen“, sagt Jiang.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Tensormesh optimiert KI-Inferenz mit innovativer Cache-Technologie" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Tensormesh optimiert KI-Inferenz mit innovativer Cache-Technologie" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Tensormesh optimiert KI-Inferenz mit innovativer Cache-Technologie« bei Google Deutschland suchen, bei Bing oder Google News!