Der steigende Energiebedarf von KI-Beschleunigern: Eine technische Herausforderung

SEOUL / LONDON (IT BOLTWISE) – Die rasante Entwicklung von KI-Technologien führt zu einem signifikanten Anstieg des Energieverbrauchs in Rechenzentren. Forscher des koreanischen Instituts KAIST prognostizieren, dass in den nächsten zehn Jahren KI-Beschleunigermodule bis zu 15.000 Watt Leistung benötigen werden.

Die kontinuierliche Weiterentwicklung von KI-Technologien stellt die Infrastruktur von Rechenzentren vor neue Herausforderungen. Forscher des Terabyte Interconnection and Package Laboratory (Teralab) am koreanischen Institut KAIST haben eine Roadmap vorgestellt, die den steigenden Energiebedarf von KI-Beschleunigern aufzeigt. In den kommenden zehn Jahren könnten diese Module bis zu 15.000 Watt Leistung benötigen, was erhebliche Anforderungen an die Kühlung und Energieversorgung stellt.

Ein Großteil dieser Energie wird von den KI-Prozessorchiplets verbraucht. Acht dieser Chiplets könnten jeweils 1,2 kW benötigen, was insgesamt fast 10 kW ausmacht. Die restlichen 5 kW werden von 32 Speicherchipstapeln benötigt, die aus 24 einzelnen DRAM-Dies bestehen. Diese Speichertechnologie, bekannt als High Bandwidth Memory der siebten Generation (HBM7), soll eine beeindruckende Datentransferrate von rund 1 Petabyte pro Sekunde bieten.

Bereits heute gibt es Sonderlösungen wie die Wafer Scale Engines von Cerebras, die eine Leistungsaufnahme von rund 15 kW aufweisen. Diese unterscheiden sich jedoch grundlegend von den gängigen KI-Beschleunigern von NVIDIA und AMD. Die Roadmap des KAIST Teralab zielt nicht darauf ab, genaue Erscheinungstermine vorherzusagen, sondern technische Herausforderungen und mögliche Lösungen aufzuzeigen.

Ein zentrales Thema ist die Kühlung der Komponenten. Die Forscher erwarten, dass neue Kühlmethoden entwickelt werden müssen, um die angestrebten Packungsdichten zu erreichen. Die aktuelle HBM-Roadmap zeigt, wie sich die Kapazität und Datentransferrate von DRAM weiterentwickeln könnten und welche neuen Techniken für das Chip-Packaging erforderlich sind.

Die Roadmap von KAIST Teralab basiert auf der Nvidia-Roadmap für KI-Beschleuniger. NVIDIA nutzt bereits nahezu die maximale Größe für einen Einzelchip, die die Lithografiesysteme belichten können. Zukünftige Generationen von KI-Beschleunigern könnten aus mehreren GPU-Chiplets bestehen, was die Leistungsaufnahme pro Chiplet von 800 auf 1200 Watt erhöhen könnte.

Um die steigenden Anforderungen zu erfüllen, müssen Kapazität und Geschwindigkeit von HBM-Speichern zunehmen. Die Entwicklung von HBM4 wird die Anzahl der Datensignalleitungen pro Stack verdoppeln, was Änderungen an den Speicher-Controllern und den Silizium-Interposern erfordert. Diese Fortschritte sind notwendig, um die Leistungsfähigkeit zukünftiger KI-Systeme sicherzustellen.

Die Forscher von KAIST Teralab haben ihre HBM-Roadmap in einer Präsentation auf YouTube vorgestellt und bieten eine PDF-Version zur Einsicht an. Diese Roadmap ist ein wichtiger Schritt, um die zukünftigen Herausforderungen im Bereich der KI-Infrastruktur zu bewältigen und die Entwicklung effizienter und leistungsfähiger Systeme zu fördern.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!