Effiziente KI-Modelle für Kleinstgeräte: Fortschritte in der Miniaturisierung

GRAZ / LONDON (IT BOLTWISE) – Die Herausforderungen der Künstlichen Intelligenz (KI) im Bereich des Internet der Dinge (IoT) sind bekannt: Hoher Rechen- und Energiebedarf stehen im Widerspruch zu den begrenzten Ressourcen kleiner, eingebetteter Systeme. Doch ein Forschungsteam hat nun einen bedeutenden Fortschritt erzielt.

In der Welt der Künstlichen Intelligenz (KI) sind hohe Rechenleistung und Energieverbrauch oft unvermeidbare Begleiter. Diese Eigenschaften stellen insbesondere im Bereich des Internet der Dinge (IoT) eine Herausforderung dar, wo kleine, eingebettete Sensoren mit begrenzter Rechenleistung und minimalem Speicher auskommen müssen. Ein Forschungsteam des COMET-K1-Zentrums Pro2Future, der Technischen Universität Graz und der Universität St. Gallen hat im Rahmen des Projekts E-MINDS innovative Wege gefunden, um KI auf kleinsten Geräten lokal und effizient auszuführen, ohne auf externe Rechenleistung angewiesen zu sein.

Ein bemerkenswerter Erfolg des Projekts war die Implementierung spezialisierter KI-Modelle auf einem Ultrabreitband-Lokalisierungsgerät mit nur 4 Kilobyte Speicher. Diese Modelle sind in der Lage, Störquellen aus Ortungsdaten herauszurechnen. Michael Krisper, Leiter des Projekts bei Pro2Future und Wissenschaftler am Institut für Technische Informatik der TU Graz, erklärt, dass es sich hierbei nicht um Large Language Models handelt, sondern um Modelle mit spezifischen Aufgaben, wie etwa der Abschätzung von Entfernungen.

Um die Modelle klein genug zu machen, wurden verschiedene Techniken angewendet. Eine davon ist die Aufteilung der Modelle und deren Orchestrierung. Anstatt ein Universalmodell zu verwenden, stehen mehrere kleine, spezialisierte Modelle zur Verfügung. Ein Orchestrierungsmodell auf dem jeweiligen Chip erkennt, welche Störung vorliegt, und lädt innerhalb von rund 100 Millisekunden das passende KI-Modell vom Server. Diese Methode ist für Industrieanwendungen wie Lagerhallen schnell genug.

Ein weiterer Ansatz sind Subspace-Configurable Networks (SCNs), die sich je nach Daten-Input anpassen. Diese SCNs wurden für Bilderkennungsaufgaben eingesetzt und erwiesen sich als äußerst produktiv. Bei Bildveränderungen oder auf IoT-Geräten getesteten Fruchtklassifizierungen gelang eine bis zu 7,8-mal schnellere Bildberechnung als über externe Ressourcen, obwohl die Modelle kleiner und energiesparender waren.

Zusätzlich wurden Techniken wie Quantisierung und Pruning eingesetzt. Bei der Quantisierung wurden die Zahlen, mit denen das Modell rechnet, vereinfacht, was Energie und Rechenzeit sparte. Beim Pruning werden Teile eines Modells entfernt, die für das gewünschte Endergebnis nicht ins Gewicht fallen. Wichtig war es, die Balance zwischen Verkleinerung und verbleibender Genauigkeit zu finden.

Die Ergebnisse des Projekts E-MINDS sind auf andere Bereiche übertragbar. Während der Fokus auf der drahtlosen Ultrabreitband-Lokalisierung lag, sehen die Forschenden zahlreiche andere Anwendungsfelder. Beispielsweise könnten Smarthome-Fernbedienungen mit effizienten KI-Modellen eine längere Batterielaufzeit haben, und Bibliotheken könnten ihre Bücher effizienter tracken.

Michael Krisper betont, dass das Projektteam ein Fundament für zukünftige Produkte und Anwendungen gelegt hat. Bei Pro2Future lag der Fokus auf den eingebetteten Systemen und der Umsetzung auf der Hardware, während an der TU Graz wichtige wissenschaftliche Grundlagen in den Bereichen Embedded Machine Learning erarbeitet wurden.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!