Apples neue KI-Modelle: Fortschritte in der Sprachverarbeitung

CUPERTINO / LONDON (IT BOLTWISE) – Apple hat kürzlich auf der WWDC25 seine neuesten KI-Modelle vorgestellt, die sowohl auf Geräten als auch in der Cloud eingesetzt werden können. Ein technischer Bericht gibt nun Einblicke in die Entwicklung und Optimierung dieser Modelle.

Apple hat seine neuesten Fortschritte im Bereich der Künstlichen Intelligenz vorgestellt, die sowohl auf Geräten als auch in der Cloud eingesetzt werden können. Der technologische Bericht, der kürzlich veröffentlicht wurde, bietet einen tiefen Einblick in die Architektur, die Datenquellen und die Optimierungsprozesse der neuen Modelle. Besonders interessant ist die Aufteilung des lokalen Modells in zwei Blöcke, was zu einer effizienteren Nutzung des Speichers führt.

Das lokale Modell, das etwa 3 Milliarden Parameter umfasst, ist in zwei Blöcke unterteilt. Block 1 enthält 62,5 % der Transformerschichten, während Block 2 die restlichen 37,5 % umfasst, jedoch ohne die Schlüssel- und Wertprojektionen. Diese Strukturierung reduziert den Speicherbedarf um 37,5 % und beschleunigt die Ausgabe des ersten Tokens um denselben Prozentsatz, ohne die Gesamtleistung zu beeinträchtigen.

Für das Cloud-basierte Modell hat Apple eine innovative Architektur entwickelt, die speziell für seine Private Cloud Compute-Plattform konzipiert wurde. Diese Architektur, bekannt als Parallel-Track Mixture-of-Experts (PT-MoE), ermöglicht eine schnellere und genauere Verarbeitung, indem sie spezialisierte Subnetzwerke aktiviert, die nur bei relevanten Aufgaben aktiv werden.

Ein weiterer bedeutender Fortschritt ist die Erweiterung der mehrsprachigen Unterstützung. Apple hat den Anteil der mehrsprachigen Daten im Training von 8 % auf 30 % erhöht und die Token-Vokabulargröße um 50 % erweitert. Diese Maßnahmen haben zu erheblichen Leistungssteigerungen bei nicht-englischen Benchmarks geführt.

Die Datenquellen für das Training der Modelle umfassen öffentlich zugängliche Webdaten, lizenzierte Inhalte und synthetische Daten. Apple betont, dass sein Applebot-Crawler die robots.txt-Ausschlüsse respektiert, um die Privatsphäre der Webseitenbetreiber zu wahren.

Obwohl Apple in der Vergangenheit als Nachzügler im Bereich der Künstlichen Intelligenz galt, zeigen diese Entwicklungen, dass das Unternehmen intensiv an der Verbesserung seiner KI-Technologien arbeitet. Die neuen Modelle bieten nicht nur eine verbesserte Leistung, sondern auch eine erhöhte Sprachunterstützung, was sie für Entwickler und Nutzer weltweit attraktiver macht.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!