MÜNCHEN (IT BOLTWISE) – Google hat Lumiere vorgestellt, ein bahnbrechendes Text-zu-Video-Diffusionsmodell, das die Grenzen von Text-zu-Video Generativer Künstlichen Intelligenz neu definiert.
Google will mit Lumiere seine direkten Mitstreiter hinter sich lassen. Das bahnbrechende Text-zu-Video-Diffusionsmodell ermöglicht es, Videos mit realistischen, vielfältigen und kohärenten Bewegungen zu generieren. Ein Aspekt, der bisher in der KI-Forschung und Computer Vision als herausfordernd galt.
Lumiere nutzt eine neuartige Raum-Zeit-U-Net-Architektur, die sich von traditionellen Videoerstellungsmodellen abhebt. Herkömmliche Modelle generieren räumlich entfernte Schlüsselbilder gefolgt von einer zeitlichen Super-Resolution, was oft mit der Aufrechterhaltung globaler zeitlicher Konsistenz kämpft. Lumieres Architektur hingegen erzeugt die gesamte zeitliche Dauer eines Videos in einem einzigen Durchgang, was die Kohärenz und Fluidität der Bewegungen erhöht.
Besonders beeindruckend sind die frühen Beispiele, die bemerkenswert flüssige Kamerabewegungen und komplexe Objektanimationen über mehrere Sekunden hinweg demonstrieren. Die Forscher betonen Lumieres Eignung für verschiedene kreative Anwendungen, die über die Text-zu-Video-Generierung hinausgehen:
- Bild-zu-Video: Das Modell wandelt Standbilder nahtlos in Videos um, indem es sich auf das erste Frame konditioniert.
- Video-Inpainting: Lumiere kann beliebige maskierte Bereiche eines vorhandenen Videos basierend auf Textanweisungen animieren. Dies eröffnet faszinierende Möglichkeiten für die Videobearbeitung, Objekteinfügung und/oder -entfernung.
- Stilisierte Generierung: Durch die Kombination von Lumiere mit künstlerischen Bildvorgaben erzielen die Forscher auffällige Ergebnisse, indem sie räumliche Stile, wie Aquarellfilter, auf zeitliche Videodimensionen übertragen.
- Cinemagraphen: Lokalisierte Bewegungseffekte sind möglich, bei denen ein Teil des Bildes statisch bleibt, während ein anderer Teil Bewegung zeigt, was Standbildern eine fesselnde Ästhetik verleiht.
Das Paper zeigt auch, wie Lumieres Ausgaben direkt in handelsübliche Video-Filtertechniken eingespeist werden können, um ganze Clips auf konsistente Weise zu stilisieren. Dies unterstreicht weiter die Vielseitigkeit des vorgeschlagenen Ansatzes.
Trotz der Fortschritte bleibt Lumiere begrenzt, wenn es um Videos geht, die Übergänge zwischen verschiedenen Szenen und Aufnahmen erfordern. Diese Fähigkeitslücke stellt einen wichtigen Bereich für zukünftige Forschung an Diffusionsmodellen dar.
Dennoch, indem es sich der Erzeugung komplexer Objekt- und Kamerabewegungen auf ganzheitliche Weise nähert, bringt Lumiere die Text-zu-Video-Generierung näher an die Realität, vielseitige und kreative visuelle Synthesen freizuschalten.
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Google enthüllt Lumiere: Eine neue Ära in der KI-gesteuerten Videogenerierung" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.