LONDON (IT BOLTWISE) – NVIDIA stellt mit Cosmos 3 eine offene Modellfamilie für Physical KI vor, die Reasoning, World Generation und Action Generation in einem gemeinsamen Ansatz bündelt. Entwickelnde erhalten Trainingsrezepte, Datensätze und Deployment-Tools, um Systeme für Robotik, autonome Fahrzeuge und Warehouse-Überwachung schneller reproduzierbar aufzubauen. Kernstück ist eine Mixture-of-Transformers-Architektur mit einem Reasoner- und einem Generator-Tower, die geführte Videound Aktionsausgaben erlaubt. Damit verschiebt sich der Fokus in der Evaluation von reiner Bildqualität hin zu faktischen Checks von physikalischer Plausibilität.
Physical KI wird aktuell nicht vor allem daran gemessen, wie gut sie Bilder „schön“ aussehen lässt, sondern ob sie die reale Welt so weit modelliert, dass daraus belastbare Entscheidungen und Handlungen entstehen. In genau diese Lücke ordnet NVIDIA Cosmos 3 ein: Das System soll Beobachtungen multimodal interpretieren, zukünftige Zustände vorhersagen und daraus zielgerichtete Aktionssequenzen ableiten. Für Unternehmen ist dabei entscheidend, dass die KI nicht nur als Blackbox-API verfügbar ist, sondern als durchgängiges Entwicklungs- und Deployment-Set gedacht wurde. Dadurch sinkt die Hürde für reproduzierbare Experimente in sensiblen Domänen wie Robotik, Lagerlogistik oder im Umfeld autonomer Mobilität.
Technisch setzt Cosmos 3 auf einen einheitlichen Ansatz, der frühere Cosmos-Generationen in unterschiedliche Modell- und Workflow-Schritte zerlegte. Statt Orchestrierung zwischen mehreren Inferenzpipelines will NVIDIA Reasoning und Generierung enger verzahnen. Zentral ist eine Mixture-of-Transformers-(MoT)-Architektur mit zwei „Towers“: Der Reasoner-Tower nutzt ein Vision-Language-Modell, das multimodale Eingaben wie Bilder, Videos und Text verarbeitet und dabei Bewegungen, Objektinteraktionen und den physikalischen Kontext interpretiert. Erst darauf aufbauend generiert der Generator-Tower zukünftige Beobachtungen und Aktionsfolgen über einen diffusionbasierten Prozess, konditioniert auf das Verständnis des Reasoners. Diese Kopplung reduziert Integrationsaufwand, erhöht aber gleichzeitig die Anforderungen an Datenqualität.
Für die praktische Umsetzung bietet NVIDIA Cosmos 3 zwei Größenklassen an, die sich an unterschiedliche Budget- und Performance-Ziele anpassen: Cosmos 3 Nano mit 16 Milliarden Parametern ist auf effizientes Inferenzverhalten optimiert und für Workstation-Umgebungen vorgesehen. Cosmos 3 Super mit 64 Milliarden Parametern zielt stärker auf maximale Qualität und Capability, inklusive Einsatz in Data-Center-Setups auf NVIDIA Hopper- und NVIDIA Blackwell-GPUs. In der Praxis bedeutet das: Nano kann schneller in Prototypen oder anwendungsnahe Steuerungsloops gebracht werden, während Super dort sinnvoll ist, wo Teams synthetische Trainingsdaten in großem Umfang erzeugen oder komplexe physikalische Rückfragen und mehrstufige Generierung brauchen. Damit wirkt Cosmos 3 wie ein Baukasten, der von der Forschung bis in produktionsnahe Inferenz skaliert.
Besonders relevant ist, dass NVIDIA nicht nur Modell-Checkpoints bereitstellt, sondern auch offene Datensätze für die Post-Training- und Domänenanpassung. Insgesamt werden sechs synthetische Daten-Generierungsdatensätze (SDG) auf Hugging Face veröffentlicht, die Bereiche wie Robotik, Physiksimulation, räumliches Reasoning, menschliche Bewegung, Driving und Warehouse-Umgebungen abdecken. Ergänzend kommt das HUE-Framework (Human Evaluation) hinzu, das Generator-Qualität stärker über objektive Faktverifikation bewertet. Experten berichten, dass viele Videogenerierungs-Benchmarks an Aussagekraft verlieren, sobald Modelle auf gängigen Leaderboards saturieren. HUE bricht deshalb generierte Videos in atomare Ja/Nein-Faktenfragen in Dimensionen wie semantische Ausrichtung, physikalische Gesetze, geometrisches Reasoning und visuelle Integrität herunter. So entsteht ein fein aufgelöstes Qualitätsignal, das sowohl schnelles Iterieren als auch strengere Release-Entscheidungen unterstützt.
Die Marktwirkung zeigt sich nicht nur in Benchmarks, sondern auch im Deployment-Ökosystem. Cosmos 3 wird zusätzlich als NVIDIA NIM Microservices angeboten, die das Modell mit optimierten Inferenzruntimes paketieren. Das adressiert einen klassischen Engpass: Während Repositories auf GitHub für Post-Training oft die bessere Wahl sind, fehlt in produktionsnahen Setups häufig Zeit für manuelle Serving-Tuning-Arbeiten. NIM Microservices sollen hier die Betriebsaufnahme beschleunigen. Laut NVIDIA ist der Reasoner NIM bereits verfügbar, der Generator NIM soll nachziehen. Für Unternehmen heißt das: Teams können zunächst Reasoning-Fähigkeiten validieren, etwa für Zustandsdiagnose oder Konsistenzprüfungen, bevor sie die vollständige Generierung ausrollen. Gleichzeitig entsteht damit ein Wettbewerbsdruck in Richtung „Production-grade KI“, den Initiativen wie DeepMind- und Open-Source-Video-World-Model-Ansätze in die Branche tragen.
Beim Abgleich mit Wettbewerbern ist der Vergleich auf mehreren Ebenen relevant. Google DeepMind und andere Forschungsteams treiben ebenfalls World-Model- und Video-Generierungsansätze voran, während in der Robotik-Industrie Unternehmen wie Tesla (autonomes Fahren) oder Figure (Manipulation) stark auf datengetriebene Systemarchitekturen und Real-World-Feedback setzen. Der Unterschied bei Cosmos 3 liegt jedoch in der Kombination aus offenem Trainings- und Evaluations-Setup sowie einer explizit „physical“ orientierten Modellkette. Cosmos 3 führt in mehreren Benchmarks an, etwa auf VANTAGE-Bench (visuellsprachliches Reasoning auf Fixed-Camera-Footage) und in Generator-Setups wie R-Bench oder Physics-IQ. Für Entscheider zählt dabei: Ein Modell ist nur dann wettbewerbsfähig, wenn es sich an Domänen anpassen lässt, ohne dass die gesamte Modellpipeline neu gebaut werden muss.
Für die Anpassung stellt NVIDIA zudem offene Trainingsrezepte bereit, darunter Supervised Fine-Tuning (SFT) und Action post-training. SFT erlaubt die Ausrichtung eines Cosmos-3-Modells auf eigene Daten, inklusive visionbezogener Post-Training-Schritte für spezialisierte Videodaten. Action post-training geht weiter: Es macht das System „action-aware“ und trainiert auf vorwärtsgerichtete Dynamik, rückwärtsgerichtete Dynamik (Inverse Dynamics) sowie Policy-Generierung. Damit entstehen praxisnahe Workflows wie das Generieren zukünftiger Beobachtungen konditioniert auf Robotik-Aktionen, das Inferenzieren von Aktionen hinter Demonstrationen oder das Vorhersagen von Aktionssequenzen aus aktuellen Beobachtungen und Task-Prompts. Historisch waren solche Fähigkeiten oft nur über getrennte Module erreichbar; Cosmos 3 versucht, diese Lücke über das integrierte Tower-Design zu schließen.
Für die technische Betriebsseite liefert NVIDIA Optimierungen, die in Unternehmen häufig über Erfolg oder Misserfolg entscheiden: Quantization-Optionen für BF16, FP8 oder NVFP4, wobei NVFP4 die numerische Präzision reduziert und laut NVIDIA bis zu 2x Inferenzgeschwindigkeit bringen kann. Für höhere Durchsatzraten nutzt der Serving-Stack vLLM-Techniken wie continuous batching, paged attention und Tensor Parallelism. Zusätzlich senkt Efficient Video Sampling (EVS) die Anzahl der Video-Tokens, die während der Inferenz in den VLM fließen; besonders kleinere GPUs sollen dadurch profitieren. Aus regulatorischer und sicherheitstechnischer Sicht bleibt dabei wichtig, dass Physical KI in kontrollierte Freigabeprozesse eingebettet wird, etwa durch Logging, Zugriffskontrollen und kontrollierte Datensatzverwendung, insbesondere wenn Training oder Evaluation auf realen Betriebsdaten aufsetzt.
Mit Blick auf die nächsten zwölf bis 24 Monate ist die wahrscheinlichste Entwicklung, dass sich die Messlatte für Physical KI von reinem visuellen Erfolg hin zu überprüfbarer Korrektheit verlagert. HUE als faktisches Evaluationsraster deutet diese Richtung an, und die offenen Trainings-/Deployment-Bausteine senken die Zeit bis zum Experiment. Unternehmen sollten jetzt anfangen, Cosmos 3 entlang ihrer realen Use-Cases zu „kalibrieren“: Wo kommt es auf physikalische Plausibilität an, welche Aktionssequenzen müssen deterministisch genug sein, und welche GPU-Budgetierung ist realistisch? Wer zudem Wettbewerber wie DeepMind-nahe Forschungsergebnisse und Open-Source-Serving-Stacks systematisch beobachtet, kann die entstehenden Ökosysteme frühzeitig in eigene Plattformen integrieren. Damit wird Cosmos 3 weniger eine einzelne Freigabe als vielmehr ein Startpunkt für wiederverwendbare Physical-KI-Pipelines.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "NVIDIA Cosmos 3: Offene Physical-KI-Modelle für Reasoning, World und Action" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "NVIDIA Cosmos 3: Offene Physical-KI-Modelle für Reasoning, World und Action" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »NVIDIA Cosmos 3: Offene Physical-KI-Modelle für Reasoning, World und Action« bei Google Deutschland suchen, bei Bing oder Google News!