MÜNCHEN (IT BOLTWISE) – NVIDIA hat mit der Einführung von NVIDIA Dynamo einen bedeutenden Schritt in der KI-Inferenztechnologie gemacht. Diese Open-Source-Software zielt darauf ab, die Effizienz und Skalierbarkeit von KI-Modellen in großen Rechenzentren zu maximieren.
NVIDIA hat mit der Einführung von NVIDIA Dynamo eine neue Ära in der KI-Inferenztechnologie eingeläutet. Diese Open-Source-Software wurde entwickelt, um die Effizienz und Skalierbarkeit von KI-Modellen in großen Rechenzentren zu maximieren. Durch die Orchestrierung und Koordination von Inferenzanfragen über eine Vielzahl von GPUs wird sichergestellt, dass KI-Fabriken mit minimalen Kosten betrieben werden können, um die Generierung von Token-Einnahmen zu maximieren.
Da KI-gestützte Entscheidungsfindung immer mehr an Bedeutung gewinnt, wird erwartet, dass jedes KI-Modell bei jeder Eingabeaufforderung Tausende von Tokens generiert. Die Erhöhung der Inferenzleistung bei gleichzeitiger Senkung der Kosten beschleunigt das Wachstum und eröffnet neue Umsatzmöglichkeiten für Dienstleister.
NVIDIA Dynamo, der Nachfolger des NVIDIA Triton Inference Servers, ist speziell darauf ausgelegt, die Token-Einnahmen für KI-Fabriken zu maximieren, die reasoning-basierte KI-Modelle einsetzen. Es orchestriert und beschleunigt die Inferenzkommunikation über Tausende von GPUs und nutzt disaggregiertes Serving, um die Verarbeitungs- und Generierungsphasen von großen Sprachmodellen (LLMs) auf verschiedenen GPUs zu trennen. Dies ermöglicht eine unabhängige Optimierung jeder Phase und stellt sicher, dass die GPU-Ressourcen maximal genutzt werden.
Mit der gleichen Anzahl von GPUs verdoppelt Dynamo die Leistung und den Umsatz von KI-Fabriken, die Llama-Modelle auf der aktuellen NVIDIA Hopper-Plattform betreiben. Beim Einsatz des DeepSeek-R1-Modells auf einem großen Cluster von GB200 NVL72-Racks steigern die intelligenten Inferenzoptimierungen von NVIDIA Dynamo auch die Anzahl der pro GPU generierten Tokens um mehr als das 30-fache.
Um diese Leistungsverbesserungen zu erreichen, integriert NVIDIA Dynamo Funktionen, die den Durchsatz erhöhen und die Kosten senken. Es kann GPUs dynamisch hinzufügen, entfernen und neu zuweisen, um auf schwankende Anfragemengen und -typen zu reagieren, sowie spezifische GPUs in großen Clustern identifizieren, die die Berechnungen minimieren und Anfragen effizient weiterleiten können. Außerdem kann es Inferenzdaten auf kostengünstigere Speicher- und Speichermedien auslagern und bei Bedarf schnell abrufen, um die Inferenzkosten zu minimieren.
NVIDIA Dynamo ist vollständig Open Source und unterstützt PyTorch, SGLang, NVIDIA TensorRT-LLM und vLLM, um Unternehmen, Startups und Forschern die Entwicklung und Optimierung von Methoden zur Bereitstellung von KI-Modellen über disaggregierte Inferenz zu ermöglichen. Es wird Nutzern helfen, die Einführung von KI-Inferenz zu beschleunigen, einschließlich bei AWS, Cohere, CoreWeave, Dell, Fireworks, Google Cloud, Lambda, Meta, Microsoft Azure, Nebius, NetApp, OCI, Perplexity, Together AI und VAST.
Die Plattform unterstützt auch disaggregiertes Serving, das die verschiedenen Rechenphasen von LLMs – einschließlich des Aufbaus eines Verständnisses der Benutzeranfrage und der Generierung der besten Antwort – auf verschiedene GPUs verteilt. Dieser Ansatz ist ideal für reasoning-Modelle wie die neue NVIDIA Llama Nemotron-Modellfamilie, die fortschrittliche Inferenztechniken für ein verbessertes kontextuelles Verständnis und die Antwortgenerierung nutzt. Disaggregiertes Serving ermöglicht es, jede Phase unabhängig zu optimieren und zu resourcieren, wodurch der Durchsatz verbessert und schnellere Antworten an die Benutzer geliefert werden.
Zusammen mit der KI-Beschleunigungs-Cloud plant Together AI, seine proprietäre Together Inference Engine mit NVIDIA Dynamo zu integrieren, um eine nahtlose Skalierung von Inferenz-Workloads über GPU-Knoten hinweg zu ermöglichen. Dies ermöglicht es Together AI auch, Verkehrsengpässe in verschiedenen Phasen der Modellpipeline dynamisch zu adressieren.
NVIDIA Dynamo umfasst vier wichtige Innovationen, die die Kosten für Inferenz-Serving senken und die Benutzererfahrung verbessern: GPU Planner, Smart Router, Low-Latency Communication Library und Memory Manager. Diese Technologien ermöglichen eine dynamische Anpassung der GPU-Ressourcen, eine intelligente Anfragenweiterleitung, eine optimierte Kommunikation zwischen GPUs und eine kosteneffiziente Speicherverwaltung.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "NVIDIA Dynamo: Effiziente KI-Inferenz für Unternehmen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "NVIDIA Dynamo: Effiziente KI-Inferenz für Unternehmen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »NVIDIA Dynamo: Effiziente KI-Inferenz für Unternehmen« bei Google Deutschland suchen, bei Bing oder Google News!