Baseten Labs sichert sich 150 Millionen US-Dollar zur Beschleunigung von KI-Inferenz

SAN FRANCISCO / LONDON (IT BOLTWISE) – Das KI-Startup Baseten Labs hat eine beeindruckende Investition von 150 Millionen US-Dollar erhalten, um seine KI-Inferenzlösungen weiterzuentwickeln. Diese Finanzierung unterstreicht die Bedeutung schneller und effizienter KI-Modelle in der heutigen digitalen Wirtschaft.

Baseten Labs Inc., ein auf Künstliche Intelligenz spezialisiertes Startup, hat kürzlich eine bedeutende Investition in Höhe von 150 Millionen US-Dollar abgeschlossen. Diese Finanzierungsrunde, die von BOND angeführt wurde, hebt das Unternehmen auf eine Bewertung von 2,15 Milliarden US-Dollar. Zu den weiteren Investoren zählen CapitalG von Alphabet Inc., Conviction, Premji Invest und andere namhafte Fonds.

Das Unternehmen bietet eine Softwareplattform an, die Unternehmen dabei unterstützt, ihre KI-Inferenz-Workloads zu beschleunigen. Laut Baseten bietet ihre Technologie eine bis zu 50 % schnellere Leistung im Vergleich zu konkurrierenden Produkten. Kunden können die Software entweder auf ihrer eigenen Infrastruktur bereitstellen oder eine cloudbasierte Version nutzen, die von Baseten verwaltet wird.

Die cloudbasierte Lösung von Baseten läuft auf zehn verschiedenen Infrastructure-as-a-Service-Plattformen. Bei steigendem Datenverkehr zu einer KI-Anwendung stellt Baseten automatisch zusätzliche Grafikkarten auf der geeignetsten Plattform bereit. Sollte eine der genutzten öffentlichen Clouds technische Probleme haben, kann die Software automatisch auf eine andere umschalten.

Baseten nutzt einen Ansatz namens Topologie-bewusste Parallelität, um die Infrastruktur der Kunden zu optimieren. Wenn ein KI-Modell über mehrere Grafikkarten läuft, müssen diese ihre Arbeit durch den Austausch von Daten über das Netzwerk koordinieren. Diese Methode reduziert den Datenverkehr und senkt somit den Hardwareverbrauch.

Zusätzlich zur Hardwareoptimierung verbessert Baseten auch die KI-Modelle selbst. Durch Operator Fusion werden Berechnungen, die normalerweise separat durchgeführt werden, zu einer einzigen Berechnung zusammengefasst, was Zeit spart. Ein Quantisierungswerkzeug verkleinert neuronale Netze, um deren Speicherbedarf zu reduzieren.

Die Kernfunktionen der Inferenz werden durch eine Reihe von Entwicklerwerkzeugen ergänzt. Softwareteams können diese Werkzeuge nutzen, um einige der Arbeiten bei der Veröffentlichung von KI-Modellen in die Produktion zu automatisieren. Baseten erleichtert auch die Bereitstellung von Abhängigkeiten eines Modells, also der Softwaremodule, auf die es angewiesen ist.

Im Mai erweiterte Baseten seinen Fokus über die Inferenz hinaus, indem es einen KI-Trainingsdienst einführte. Dieser bietet Zugang zu Infrastruktur, die Unternehmen zum Aufbau neuer KI-Modelle nutzen können. Zudem ermöglicht er es Softwareteams, KI-Modelle während des Trainings regelmäßig zu sichern, um bei Unterbrechungen auf die neuesten Sicherungen zurückgreifen zu können.

Mit der neuen Finanzierung plant das Unternehmen, sein Angebot an Entwicklerwerkzeugen auszubauen und neue Methoden zur Beschleunigung von KI-Modellen zu erforschen. Der Mitbegründer und CEO Tuhin Srivastava betonte die Bedeutung schneller, zuverlässiger und kosteneffizienter Inferenz für den Erfolg von KI-Anwendungen.

Bestseller Nr. 1 ᵃ⤻ᶻ «KI Gadgets»

Apple AirTag - Finde und behalte Deine Sachen im Blick: Schlüssel, Geldbörsen, Gepäck, Rucksäcke und mehr. Einfaches Einrichten mit iPhone oder iPad. Austauschbare Batterie

29,90 EUR

Bestseller Nr. 2 ᵃ⤻ᶻ «KI Gadgets»

Mobvoi TicNote KI Digitales Diktiergerät, 64 GB Speicher, Notizrekorder mit Hülle, App-Steuerung, über 100 Sprachen, Transkribieren, Zusammenfassen mit AI Shadow,digitaler Audiorekorder Sprachrekorder

169,99 EUR

Bestseller Nr. 3 ᵃ⤻ᶻ «KI Gadgets»

Plaud Note KI Digitales Diktiergerät mit Hülle - 64 GB Aufnahmegerät mit KI-Technologie zum Transkribieren und Zusammenfassen, One-Touch-Aufnahme, Rauschunterdrückung, Unterstützt 112 Sprachen

169,90 EUR

Bestseller Nr. 4 ᵃ⤻ᶻ «KI Gadgets»

KI-Sprachrekorder, Plaud NotePin Sprachrekorder, App-Steuerung, KI-Notizgerät, KI-Transkription & Zusammenfassung, 112 Sprachen, 64GB Speicher, Audiorekorder für Vorlesungen, Meetings, Kosmisches Grau

169,90 EUR

Bestseller Nr. 5 ᵃ⤻ᶻ «KI Gadgets»

SOXOI KI Digitales Diktiergerät, 64GB Magnet Mini Aufnahmegerä mit ChatGPT 4o vom Transkribieren und Zusammenfassen für 102 Sprachen,One Touch Aufnahme, Voice Recorder Sprachrecorder (Schwarz)

75,99 EUR

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!