MÜNCHEN (IT BOLTWISE) – Forscher bei Meta haben MAGNeT (Masked Audio Generation using Non-autoregressive Transformers) open-sourced, ein neues KI-Modell, das in der Lage ist, Studioqualität-Text-zu-Musik und Text-zu-Sound-Ergebnisse zu generieren – und das bis zu 7 Mal schneller als aktuelle Spitzenmodelle.

Meta erklärt, dass MAGNeT mit 16.000 Stunden lizenzierter Musik trainiert wurde. Speziell wurde ein internes Datenset von 10.000 hochwertigen Musiktracks verwendet, zusätzlich zu Musikdaten von ShutterStock und Pond5. Im Gegensatz zu führenden Modellen, die entweder auf langsameren autoregressiven Decodierungen basieren, die Audio-Signale sequenziell generieren, oder auf diffusionsbasierten Architekturen, die längere Sampling-Verfahren benötigen, verwendet MAGNeT paralleles maskiertes prädiktives Coding. Dies ermöglicht es dem Modell, 30-sekündige musikalische Kompositionen und Klanglandschaften in einem Bruchteil einer Sekunde zu generieren, mit einer Qualität, die bedingungslosen Sprachmodellen und Diffusionstechniken ebenbürtig ist.

Diese beeindruckende Geschwindigkeit resultiert aus seinem maskierten generativen Sequenzmodellierung direkt auf rohen Audio-Wellenform-Token. Das Modell besteht aus einem einzigen Transformer, der Spannen von maskiertem Input vorhersagt, bedingt durch sichtbaren Kontext in einer Serie von nicht-autoregressiven Decodierungsiterationen. Eine neuartige Neubewertungskomponente verfeinert dann die Audio-Treue, indem sie ein extern trainiertes Modell nutzt, um Vorhersagen neu zu bewerten und zu ranken, die dann in nachfolgenden Decodierungsschritten verwendet werden.

Die Forscher stellten auch eine hybride Version von MAGNeT vor, die die Stärken von autoregressiven und nicht-autoregressiven Modellen kombiniert, indem sie die ersten Sekunden des Audios sequenziell generiert, bevor sie zu einer Hochgeschwindigkeitsparallelerzeugung wechselt – und so die Vorteile beider Ansätze einfängt.

Evaluierungen haben ergeben, dass MAGNeT Parität mit oder marginal hinter Baselines auf Metriken wie der Frechet Audio Distance erreicht hat, während ihre Geschwindigkeit um bis zu 700% übertroffen wurde. Für Anwendungen wie interaktive Musikerstellung, die Echtzeitsynthese von Sound erfordern, verspricht MAGNeT einen transformativen Fortschritt.

Die Entwicklung von MAGNeT beleuchtet die Trade-offs zwischen autoregressiver und nicht-autoregressiver Modellierung, insbesondere in Bezug auf Latenz, Durchsatz und Generierungsqualität. Durch die Bereitstellung einer detaillierten Analyse dieser Aspekte bieten die Forscher hinter MAGNeT wertvolle Einblicke in die möglichen Richtungen für zukünftige Forschungen in der Audiogenerierungstechnologie.

Meta hat MAGNeT als Teil von AudioCraft, ihrer Einzelstop-Codebasis für alle generativen Audio-Lösungen, open-sourced.

Meta Präsentiert MAGNeT: Ein Durchbruch in der KI-gesteuerten Audioerzeugung
Meta Präsentiert MAGNeT: Ein Durchbruch in der KI-gesteuerten Audioerzeugung (Foto:DALL-E, IT BOLTWISE)
Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein.









Die nächste Stufe der Evolution: Wenn Mensch und Maschine eins werden | Wie Futurist, Tech-Visionär und Google-Chef-Ingenieur Ray Kurzweil die Zukunft der Künstlichen Intelligenz sieht
46 Bewertungen
Die nächste Stufe der Evolution: Wenn Mensch und Maschine eins werden | Wie Futurist, Tech-Visionär und Google-Chef-Ingenieur Ray Kurzweil die Zukunft der Künstlichen Intelligenz sieht
  • Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
124 Bewertungen
Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
  • Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
KI Exzellenz: Erfolgsfaktoren im Management jenseits des Hypes. Zukunftstechnologien verstehen und künstliche Intelligenz erfolgreich in der Arbeitswelt nutzen. (Haufe Fachbuch)
69 Bewertungen
KI Exzellenz: Erfolgsfaktoren im Management jenseits des Hypes. Zukunftstechnologien verstehen und künstliche Intelligenz erfolgreich in der Arbeitswelt nutzen. (Haufe Fachbuch)
  • Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
Künstliche Intelligenz und Hirnforschung: Neuronale Netze, Deep Learning und die Zukunft der Kognition
40 Bewertungen
Künstliche Intelligenz und Hirnforschung: Neuronale Netze, Deep Learning und die Zukunft der Kognition
  • Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten

Ergänzungen und Infos bitte an die Redaktion per eMail an de-info[at]it-boltwise.de. Da wir bei KI-erzeugten News und Inhalten selten auftretende KI-Halluzinationen nicht ausschließen können, bitten wir Sie bei Falschangaben und Fehlinformationen uns via eMail zu kontaktieren und zu informieren. Bitte vergessen Sie nicht in der eMail die Artikel-Headline zu nennen: "Durchbruch bei Meta: MAGNeT erzeugt Studioqualität-Audio in Rekordzeit".
Stichwörter AI Artificial Intelligence KI Künstliche Intelligenz MAGNeT Meta Non-autoregressive Transformers Open Source Studio-Quality Audio Text-to-Music Text-to-Sound
Alle Märkte in Echtzeit verfolgen - 30 Tage kostenlos testen!


#Abo
Telegram
LinkedIn
Facebook
Twitter
Instagram
#Podcast
YouTube
Spotify
Apple
#Werbung
Shirts
Roboter
Home
Bücher
AI Jobs
Spielzeug
Games
Kinder
Audio

Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Durchbruch bei Meta: MAGNeT erzeugt Studioqualität-Audio in Rekordzeit" für unsere Leser?

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

  • Die aktuellen intelligenten Ringe, intelligenten Brillen, intelligenten Uhren oder KI-Smartphones auf Amazon entdecken! (Sponsored)


  • Es werden alle Kommentare moderiert!

    Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.

    Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.

    Du willst nichts verpassen?

    Du möchtest über ähnliche News und Beiträge wie "Durchbruch bei Meta: MAGNeT erzeugt Studioqualität-Audio in Rekordzeit" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.

    297 Leser gerade online auf IT BOLTWISE®