HEIDELBERG / MÜNCHEN (IT BOLTWISE) – Aleph Alpha hat in Zusammenarbeit mit AMD eine innovative KI-Architektur vorgestellt, die ohne Tokenizer auskommt und somit eine effizientere Anpassung von Sprachmodellen an spezifische Anforderungen ermöglicht.
- Die besten Bücher rund um KI & Robotik
präsentiert von Amazon!
- Unsere täglichen KI-News von IT Boltwise® bei LinkedIn abonnieren!
- KI-Meldungen bequem via Telegram oder per Newsletter erhalten!
- IT Boltwise® bei Facy oder Insta als Fan markieren und abonnieren!
- AI Morning Podcast bei Spotify / Amazon / Apple verfolgen!
- RSS-Feed 2.0 von IT Boltwise® für KI-News speichern!
In der Welt der Künstlichen Intelligenz sind Sprachmodelle ein zentrales Element, das kontinuierlich weiterentwickelt wird. Aleph Alpha, ein aufstrebendes Startup aus Heidelberg, hat in Kooperation mit AMD eine neue Architektur entwickelt, die Sprachmodelle ohne den Einsatz von Tokenizern anpassbar macht. Diese Entwicklung könnte die Art und Weise, wie Sprachmodelle trainiert und angepasst werden, grundlegend verändern.
Traditionelle Large Language Models (LLMs) basieren auf der Tokenisierung von Texten, was bedeutet, dass Texte in kleinere Einheiten zerlegt werden, um Muster zu erkennen. Diese Methode hat jedoch ihre Grenzen, insbesondere wenn es darum geht, Modelle an neue Sprachen oder spezialisierte Fachgebiete anzupassen. Aleph Alpha hat nun eine hierarchische Architektur entwickelt, die auf Zeichen- und Wortebene arbeitet und somit flexibler und effizienter ist.
Die neue Architektur verwendet einen leichten Kodierer auf Zeichenebene, der Zeichensequenzen in Wort-Embeddings umwandelt. Diese werden dann von einem Backbone-Modell auf Wortebene verarbeitet und schließlich über einen kompakten Decoder auf Zeichenebene dekodiert. Diese Methode ermöglicht es, souveräne Modelle für verschiedene Alphabete und weniger verbreitete Sprachen zu erstellen, was bisher aufgrund der Datenanforderungen schwierig war.
Ein wesentlicher Vorteil dieser Architektur ist die Reduzierung der benötigten Datenmenge für ein erfolgreiches Finetuning. Dies schont nicht nur die Rechenressourcen, sondern reduziert auch den CO₂-Fußabdruck erheblich. Laut Aleph Alpha können die Trainingskosten und der ökologische Fußabdruck um bis zu 70 Prozent gesenkt werden, was insbesondere für kleinere Sprachen wie Finnisch von Bedeutung ist.
Die Zusammenarbeit mit AMD und SiloAI, einem finnischen Unternehmen, das kürzlich von AMD übernommen wurde, stärkt das europäische KI-Ökosystem. Diese Partnerschaft zielt darauf ab, die Effizienz und Nachhaltigkeit von KI-Modellen zu verbessern und gleichzeitig die europäische Technologieführerschaft zu fördern.
Das Angebot richtet sich zunächst an europäische Behörden, die von der neuen Architektur profitieren sollen. Aleph Alpha hat bereits das KI-Betriebssystem Pharia entwickelt, das speziell für den Einsatz in Behörden konzipiert ist. Unterstützt wird die Initiative durch die Datenzentren von Stackit, der Cloud-Lösung von Schwarz Digits, die zur Schwarz-Gruppe gehört.
Diese Entwicklungen zeigen, dass die Anpassung von KI-Modellen an spezifische Anforderungen nicht nur eine technische Herausforderung ist, sondern auch eine Chance, die Effizienz und Nachhaltigkeit in der KI-Entwicklung zu verbessern. Die Zusammenarbeit zwischen Aleph Alpha und AMD könnte ein wichtiger Schritt in Richtung einer flexibleren und umweltfreundlicheren KI-Zukunft sein.
Amazon-Trendangebote der letzten 24 Stunden mit bis zu 78% Rabatt (Sponsored)
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Aleph Alpha und AMD: Neue KI-Architektur ohne Tokenizer" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.