MLCommons: Maßstäbe für die Zukunft der KI-Entwicklung

SAN FRANCISCO / MÜNCHEN (IT BOLTWISE) – In der sich schnell entwickelnden Welt der Künstlichen Intelligenz (KI) ist es entscheidend, die Leistungsfähigkeit von Systemen objektiv zu bewerten. MLCommons, ein Konsortium, das 2018 gegründet wurde, hat sich dieser Aufgabe angenommen. Mit seiner Benchmark-Suite MLPerf bietet es eine Plattform, um die Leistung von KI-Systemen kontinuierlich zu messen und zu verbessern.

MLCommons hat sich als zentrale Instanz etabliert, um die Leistungsfähigkeit von KI-Systemen weltweit zu vergleichen. Mit über 125 Mitgliedern und Partnern auf sechs Kontinenten bietet das Konsortium eine Plattform für offene Zusammenarbeit. Die Mitglieder, die je nach Unternehmensgröße einen jährlichen Beitrag zahlen, profitieren von einem umfassenden Benchmarking-Ansatz, der Geschwindigkeit, Genauigkeit, Sicherheit und Effizienz von KI-Systemen misst.

Die MLPerf-Suite, das Herzstück von MLCommons, ermöglicht einen standardisierten Leistungsvergleich von KI- und ML-Systemen auf verschiedenen Software- und Hardwareplattformen. Dies umfasst sowohl GPUs als auch CPUs unterschiedlicher Hersteller. Durch die Bereitstellung einer einheitlichen Methodik zur Leistungsbewertung von ML-Workloads fördert MLCommons die Innovation in Hardware, Software und Algorithmen.

Innerhalb der MLPerf-Suite gibt es verschiedene Benchmarks, die unterschiedliche Aspekte von KI und ML bewerten. Diese Benchmarks nutzen reale Anwendungsfälle, um möglichst akkurate Ergebnisse zu erzielen, die jederzeit reproduzierbar sind. Die eingereichten Systeme werden in geschlossene und offene Unterteilungen kategorisiert, je nachdem, wie stark sie vom Referenzmodell abweichen.

Ein besonderer Fokus liegt auf dem MLPerf Training Benchmark, der misst, wie lange ein System benötigt, um ein ML-Modell auf einen Datensatz zu trainieren. Hierbei wird die Zeit bis zum Erreichen einer festgelegten Zielgenauigkeit gemessen, wobei Faktoren wie die Initialisierung des Systems ausgeschlossen werden. Zu den typischen Modellen gehören Bildklassifikationen, NLP und Objekterkennung.

Ein weiterer wichtiger Benchmark ist MLPerf Inference, der die Anzahl der Inferenzanfragen misst, die ein trainiertes Modell pro Sekunde bearbeiten kann. Dies kann sowohl im Offline-Modus als auch in Echtzeit erfolgen. Mit der Einführung von Version 5.0 wurden neue Benchmarks hinzugefügt, die Anwendungen mit niedriger Latenz und 3D-Objekterkennung umfassen.

MLCommons hat auch Benchmarks für spezifische Einsatzbereiche entwickelt, wie MLPerf Inference: Tiny für Edge- und IoT-Geräte, sowie MLPerf Inference: Mobile für mobile Endgeräte. Diese Benchmarks testen die Leistung von Modellen auf ressourcenschwachen Geräten und mobilen SoCs.

Die Bedeutung von MLCommons und seiner MLPerf-Suite liegt in der Förderung von Innovation und der Schaffung eines objektiven Maßstabs für die Bewertung von KI-Systemen. Durch die kontinuierliche Weiterentwicklung und Anpassung der Benchmarks trägt MLCommons dazu bei, die Leistungsfähigkeit von KI-Systemen weltweit zu verbessern und neue Standards zu setzen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!