Neue KI-Technologie von Tencent ermöglicht 3D-Welten aus Fotos

SHENZHEN / LONDON (IT BOLTWISE) – Tencent hat ein neues KI-Modell namens HunyuanWorld-Voyager vorgestellt, das aus einem einzigen Foto 3D-ähnliche Videos erzeugt. Diese Technologie ermöglicht es Nutzern, virtuelle Szenen zu erkunden, indem sie eine Kamerafahrt steuern. Trotz beeindruckender Ergebnisse erfordert das System erhebliche Rechenleistung und ist derzeit nicht für den Einsatz in Videospielen geeignet.

Tencent hat mit der Veröffentlichung von HunyuanWorld-Voyager einen weiteren Schritt in der Entwicklung von KI-gestützten Technologien gemacht. Dieses Modell kann aus einem einzigen Bild 3D-konsistente Videosequenzen erzeugen, die es dem Benutzer ermöglichen, durch virtuelle Szenen zu navigieren. Dabei wird sowohl RGB-Video als auch Tiefeninformation generiert, was eine direkte 3D-Rekonstruktion ohne traditionelle Modellierungstechniken ermöglicht. Allerdings sind die Ergebnisse keine echten 3D-Modelle, sondern 2D-Videoframes, die räumliche Konsistenz bewahren, als ob eine Kamera durch einen echten 3D-Raum bewegt würde.

Die Technologie basiert auf der Transformer-Architektur, die Muster aus den Trainingsdaten imitiert. Für die Schulung von Voyager wurden über 100.000 Videoclips verwendet, darunter auch computergenerierte Szenen aus der Unreal Engine. Diese Daten lehrten das Modell, wie sich Kameras in 3D-Umgebungen bewegen. Ein bemerkenswerter Unterschied zu anderen KI-Video-Generatoren ist, dass Voyager Muster räumlicher Konsistenz erkennt und reproduziert, unterstützt durch einen geometrischen Feedback-Loop.

Ein wesentlicher Aspekt von Voyager ist die gleichzeitige Erzeugung von Farbvideo und Tiefeninformationen, die perfekt aufeinander abgestimmt sind. Dies wird durch einen sogenannten “World Cache” unterstützt, der eine wachsende Sammlung von 3D-Punkten aus zuvor generierten Frames darstellt. Diese Punkte werden in 2D projiziert, um neue Frames zu erzeugen, die mit den vorherigen übereinstimmen. Diese Technik sorgt für eine bessere räumliche Konsistenz als herkömmliche Video-Generatoren, obwohl sie immer noch auf Mustererkennung basiert und keine echte 3D-Verständnis bietet.

Die Nutzung von Voyager erfordert erhebliche Rechenleistung, da mindestens 60 GB GPU-Speicher für eine Auflösung von 540p benötigt werden. Tencent empfiehlt sogar 80 GB für bessere Ergebnisse. Die Modellgewichte wurden auf Hugging Face veröffentlicht, und der Code unterstützt sowohl Einzel- als auch Multi-GPU-Setups. Es gibt jedoch Lizenzbeschränkungen, die die Nutzung in der Europäischen Union, im Vereinigten Königreich und in Südkorea untersagen. Kommerzielle Einsätze mit über 100 Millionen monatlich aktiven Nutzern erfordern eine separate Lizenzierung von Tencent.

Bestseller Nr. 1 ᵃ⤻ᶻ «KI Gadgets»

Apple AirTag - Finde und behalte Deine Sachen im Blick: Schlüssel, Geldbörsen, Gepäck, Rucksäcke und mehr. Einfaches Einrichten mit iPhone oder iPad. Austauschbare Batterie

29,90 EUR

Bestseller Nr. 2 ᵃ⤻ᶻ «KI Gadgets»

Mobvoi TicNote KI Digitales Diktiergerät, 64 GB Speicher, Notizrekorder mit Hülle, App-Steuerung, über 100 Sprachen, Transkribieren, Zusammenfassen mit AI Shadow,digitaler Audiorekorder Sprachrekorder

169,99 EUR

Bestseller Nr. 3 ᵃ⤻ᶻ «KI Gadgets»

Plaud Note KI Digitales Diktiergerät mit Hülle - 64 GB Aufnahmegerät mit KI-Technologie zum Transkribieren und Zusammenfassen, One-Touch-Aufnahme, Rauschunterdrückung, Unterstützt 112 Sprachen

169,90 EUR

Bestseller Nr. 4 ᵃ⤻ᶻ «KI Gadgets»

KI-Sprachrekorder, Plaud NotePin Sprachrekorder, App-Steuerung, KI-Notizgerät, KI-Transkription & Zusammenfassung, 112 Sprachen, 64GB Speicher, Audiorekorder für Vorlesungen, Meetings, Kosmisches Grau

169,90 EUR

Bestseller Nr. 5 ᵃ⤻ᶻ «KI Gadgets»

SOXOI KI Digitales Diktiergerät, 64GB Magnet Mini Aufnahmegerä mit ChatGPT 4o vom Transkribieren und Zusammenfassen für 102 Sprachen,One Touch Aufnahme, Voice Recorder Sprachrecorder (Schwarz)

75,99 EUR

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!