NVIDIA öffnet Audio2Face für Entwickler: Echtzeit-Animationen im Fokus

LONDON (IT BOLTWISE) – NVIDIA hat seine Audio2Face-Technologie als Open Source freigegeben, was eine bedeutende Entwicklung für Spieleentwickler darstellt. Diese Technologie ermöglicht die Echtzeit-Animation von Charakteren basierend auf Audioeingaben und bietet Entwicklern neue Möglichkeiten zur Verbesserung der Ausdruckskraft und Lebendigkeit von 3D-Charakteren.

NVIDIA hat kürzlich bekannt gegeben, dass seine Audio2Face-Technologie nun unter einer MIT Open-Source-Lizenz verfügbar ist. Diese Entscheidung markiert einen bedeutenden Schritt für das Unternehmen, das bisher nicht für die Open-Source-Freigabe seiner Technologien bekannt war. Audio2Face ist Teil von NVIDIAs generativer KI-Produktpalette und ermöglicht die Echtzeit-Animation von Gesichtern und Lippenbewegungen basierend auf Audioeingaben. Durch die Analyse von Phonemen, Intonation und emotionalem Ton erzeugt die Technologie Datenströme, die auf 3D-Charaktere angewendet werden können, um diese ausdrucksstärker und lebensechter zu gestalten.

Die Technologie wird bereits durch Plugins für Autodesk Maya und Unreal Engine 5 unterstützt. NVIDIA hat zudem das SDK, das Trainings-Framework und Beispieldatensätze veröffentlicht, was Entwicklern die Möglichkeit gibt, bestehende Modelle anzupassen oder für eigene Projekte zu nutzen. Zu den verfügbaren Modellen gehören sowohl Regressions- als auch Diffusionsvarianten für die Lippen-Synchronisation sowie Audio2Emotion-Netzwerke, die den emotionalen Zustand aus der Stimme lernen.

Einige Spieleentwickler haben diese Technologie bereits in der Produktion eingesetzt. So nutzte The Farm 51 Audio2Face in Chernobylite 2: Exclusion Zone, um Animations-Workflows zu beschleunigen und natürlichere Charaktere zu liefern. Weitere Partner sind Codemasters, GSC Game World, NetEase, Perfect World, Convai, Inworld AI, Reallusion, Streamlabs und UneeQ. Die Fähigkeit des Systems, traditionelle Performance-Capture-Verfahren zu umgehen, macht es zu einer attraktiven Option für Studios, die schnellere Produktionspipelines anstreben.

NVIDIA beschreibt Audio2Face als Teil seines umfassenderen RTX-Kits von KI-gestützten Werkzeugen für Entwickler, das auch neuronale Texturkompression und globale Beleuchtungs-SDKs umfasst. Durch die Veröffentlichung unter einer offenen Lizenz lädt das Unternehmen Entwickler, Forscher und Studenten ein, die Technologie für ein breiteres Anwendungsspektrum zu adaptieren und zu erweitern, von Videospielen bis hin zu digitalen Menschen im Kundenservice.

Bestseller Nr. 1 ᵃ⤻ᶻ «KI Gadgets»

Apple AirTag - Finde und behalte Deine Sachen im Blick: Schlüssel, Geldbörsen, Gepäck, Rucksäcke und mehr. Einfaches Einrichten mit iPhone oder iPad. Austauschbare Batterie

30,99 EUR

Bestseller Nr. 2 ᵃ⤻ᶻ «KI Gadgets»

Vikye KI -Roboter Angetrieben von Deepseek, Smart Talking Desk Companion mit 1,28 "Bildschirm, Sprachsteuerung, WLAN -Wetteruhr und Bluetooth Music Player

30,50 EUR

Bestseller Nr. 3 ᵃ⤻ᶻ «KI Gadgets»

ZOOI Geschenke für Männer, Geburtstagsgeschenk für Männer, Gadgets für Männer, Geschenke für Papa Geschenk Männergeschenk Adventskalender Füllung Männer, Bluetooth Lautsprecher mit Handyständer

20,99 EUR

Bestseller Nr. 4 ᵃ⤻ᶻ «KI Gadgets»

QCOQ® Air Tags 4er Pack Schwarz, Schlüsselfinder & Air Tracker Tagg Kompatibel mit Apple Wo ist? App (Nur iOS), Smart Key Finder mit Schlüsselband, Koffer-Tracker für Taschen/Keys, Austauschbarer Akku

36,99 EUR

Bestseller Nr. 5 ᵃ⤻ᶻ «KI Gadgets»

EIlik - Ein Desktop-Begleitroboter mit emotionaler Intelligenz, Multi-Roboter-Interaktionen, Desktop-Robotik-Partner

169,00 EUR

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!