MÜNCHEN (IT BOLTWISE) – Die Entwicklung von KI-Technologien schreitet rasant voran, insbesondere im Bereich der Bildgenerierung. Ein bemerkenswerter Fortschritt ist die Einführung von HART, einem hybriden Modell, das die Stärken von autoregressiven und Diffusionsmodellen vereint.
Die Fähigkeit, qualitativ hochwertige Bilder schnell zu generieren, ist entscheidend für die Erstellung realistischer Simulationsumgebungen. Diese können beispielsweise genutzt werden, um selbstfahrende Autos zu trainieren, unvorhersehbare Gefahren zu vermeiden und somit die Sicherheit auf den Straßen zu erhöhen. Doch die gängigen generativen KI-Techniken, die zur Bildproduktion eingesetzt werden, haben ihre Schwächen. Diffusionsmodelle, die für ihre beeindruckende Bildqualität bekannt sind, sind oft zu langsam und ressourcenintensiv für viele Anwendungen.
Im Gegensatz dazu sind autoregressive Modelle, die auch in Sprachmodellen wie ChatGPT verwendet werden, deutlich schneller, erzeugen jedoch oft Bilder von geringerer Qualität, die mit Fehlern behaftet sind. Forscher von MIT und NVIDIA haben nun einen neuen Ansatz entwickelt, der die Vorteile beider Methoden kombiniert. Ihr hybrides Bildgenerierungswerkzeug, bekannt als HART, nutzt ein autoregressives Modell, um schnell das Gesamtbild zu erfassen, und ein kleines Diffusionsmodell, um die Details des Bildes zu verfeinern.
HART kann Bilder erzeugen, die in ihrer Qualität den besten Diffusionsmodellen entsprechen oder diese sogar übertreffen, und das etwa neunmal schneller. Der Generierungsprozess verbraucht weniger Rechenressourcen als herkömmliche Diffusionsmodelle, was es ermöglicht, HART lokal auf einem handelsüblichen Laptop oder Smartphone auszuführen. Ein Benutzer muss lediglich einen natürlichen Sprachbefehl in die HART-Oberfläche eingeben, um ein Bild zu generieren.
Die Anwendungsmöglichkeiten von HART sind vielfältig. So könnte es Forschern helfen, Roboter zu trainieren, komplexe Aufgaben in der realen Welt zu bewältigen, oder Designern dabei unterstützen, eindrucksvolle Szenen für Videospiele zu erstellen. „Wenn man eine Landschaft malt und zunächst das gesamte Bild auf einmal malt, sieht es möglicherweise nicht sehr gut aus. Aber wenn man das Gesamtbild malt und dann mit kleineren Pinselstrichen verfeinert, könnte das Gemälde viel besser aussehen. Das ist die Grundidee von HART“, erklärt Haotian Tang, einer der Hauptautoren der neuen Studie zu HART.
Während der Entwicklung von HART standen die Forscher vor der Herausforderung, das Diffusionsmodell effektiv zu integrieren, um das autoregressive Modell zu verbessern. Sie stellten fest, dass die Einbindung des Diffusionsmodells in die frühen Phasen des autoregressiven Prozesses zu einer Fehlerakkumulation führte. Stattdessen verbesserte das endgültige Design, bei dem das Diffusionsmodell nur Residual-Tokens als letzten Schritt vorhersagt, die Generierungsqualität erheblich.
Ihr Ansatz, der eine Kombination aus einem autoregressiven Transformermodell mit 700 Millionen Parametern und einem leichten Diffusionsmodell mit 37 Millionen Parametern verwendet, kann Bilder von derselben Qualität erzeugen wie ein Diffusionsmodell mit 2 Milliarden Parametern, jedoch etwa neunmal schneller. Es benötigt etwa 31 Prozent weniger Rechenleistung als die modernsten Modelle.
Da HART ein autoregressives Modell verwendet, das den Großteil der Arbeit erledigt – derselbe Modelltyp, der auch Sprachmodelle antreibt – ist es besser geeignet, in die neue Klasse von einheitlichen visuell-sprachlichen generativen Modellen integriert zu werden. In Zukunft könnte man mit einem solchen Modell interagieren, indem man es beispielsweise auffordert, die Zwischenschritte zu zeigen, die erforderlich sind, um ein Möbelstück zusammenzubauen.
Die Forscher planen, diesen Weg weiter zu verfolgen und visuell-sprachliche Modelle auf der HART-Architektur aufzubauen. Da HART skalierbar und auf mehrere Modalitäten übertragbar ist, möchten sie es auch für die Videogenerierung und Audiovorhersageaufgaben einsetzen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "HART: Eine neue Ära der Bildgenerierung durch KI" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "HART: Eine neue Ära der Bildgenerierung durch KI" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »HART: Eine neue Ära der Bildgenerierung durch KI« bei Google Deutschland suchen, bei Bing oder Google News!