HEIDELBERG / MÜNCHEN (IT BOLTWISE) – Aleph Alpha hat in Zusammenarbeit mit AMD eine innovative KI-Architektur vorgestellt, die ohne Tokenizer auskommt und somit eine effizientere Anpassung von Sprachmodellen an spezifische Anforderungen ermöglicht.
In der Welt der Künstlichen Intelligenz sind Sprachmodelle ein zentrales Element, das kontinuierlich weiterentwickelt wird. Aleph Alpha, ein aufstrebendes Startup aus Heidelberg, hat in Kooperation mit AMD eine neue Architektur entwickelt, die Sprachmodelle ohne den Einsatz von Tokenizern anpassbar macht. Diese Entwicklung könnte die Art und Weise, wie Sprachmodelle trainiert und angepasst werden, grundlegend verändern.
Traditionelle Large Language Models (LLMs) basieren auf der Tokenisierung von Texten, was bedeutet, dass Texte in kleinere Einheiten zerlegt werden, um Muster zu erkennen. Diese Methode hat jedoch ihre Grenzen, insbesondere wenn es darum geht, Modelle an neue Sprachen oder spezialisierte Fachgebiete anzupassen. Aleph Alpha hat nun eine hierarchische Architektur entwickelt, die auf Zeichen- und Wortebene arbeitet und somit flexibler und effizienter ist.
Die neue Architektur verwendet einen leichten Kodierer auf Zeichenebene, der Zeichensequenzen in Wort-Embeddings umwandelt. Diese werden dann von einem Backbone-Modell auf Wortebene verarbeitet und schließlich über einen kompakten Decoder auf Zeichenebene dekodiert. Diese Methode ermöglicht es, souveräne Modelle für verschiedene Alphabete und weniger verbreitete Sprachen zu erstellen, was bisher aufgrund der Datenanforderungen schwierig war.
Ein wesentlicher Vorteil dieser Architektur ist die Reduzierung der benötigten Datenmenge für ein erfolgreiches Finetuning. Dies schont nicht nur die Rechenressourcen, sondern reduziert auch den CO₂-Fußabdruck erheblich. Laut Aleph Alpha können die Trainingskosten und der ökologische Fußabdruck um bis zu 70 Prozent gesenkt werden, was insbesondere für kleinere Sprachen wie Finnisch von Bedeutung ist.
Die Zusammenarbeit mit AMD und SiloAI, einem finnischen Unternehmen, das kürzlich von AMD übernommen wurde, stärkt das europäische KI-Ökosystem. Diese Partnerschaft zielt darauf ab, die Effizienz und Nachhaltigkeit von KI-Modellen zu verbessern und gleichzeitig die europäische Technologieführerschaft zu fördern.
Das Angebot richtet sich zunächst an europäische Behörden, die von der neuen Architektur profitieren sollen. Aleph Alpha hat bereits das KI-Betriebssystem Pharia entwickelt, das speziell für den Einsatz in Behörden konzipiert ist. Unterstützt wird die Initiative durch die Datenzentren von Stackit, der Cloud-Lösung von Schwarz Digits, die zur Schwarz-Gruppe gehört.
Diese Entwicklungen zeigen, dass die Anpassung von KI-Modellen an spezifische Anforderungen nicht nur eine technische Herausforderung ist, sondern auch eine Chance, die Effizienz und Nachhaltigkeit in der KI-Entwicklung zu verbessern. Die Zusammenarbeit zwischen Aleph Alpha und AMD könnte ein wichtiger Schritt in Richtung einer flexibleren und umweltfreundlicheren KI-Zukunft sein.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Aleph Alpha und AMD: Neue KI-Architektur ohne Tokenizer" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Aleph Alpha und AMD: Neue KI-Architektur ohne Tokenizer" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Aleph Alpha und AMD: Neue KI-Architektur ohne Tokenizer« bei Google Deutschland suchen, bei Bing oder Google News!