Chinesisches KI-Startup DeepSeek erreicht bedeutende Fortschritte mit weniger Rechenleistung

PEKING / MÜNCHEN (IT BOLTWISE) – Inmitten der Herausforderungen durch US-Sanktionen zeigt das chinesische KI-Startup DeepSeek, dass Innovation auch mit begrenzten Ressourcen möglich ist.

Das chinesische KI-Startup DeepSeek hat kürzlich bekannt gegeben, dass es gelungen ist, ein KI-Modell zu entwickeln, das mit den führenden Modellen von Unternehmen wie OpenAI und Meta vergleichbar ist, jedoch mit einer um das 11-fache reduzierten Rechenleistung. Diese Ankündigung wirft ein neues Licht auf die Auswirkungen der US-Sanktionen, die die Verfügbarkeit von KI-Hardware in China einschränken. Doch DeepSeek zeigt, dass durch clevere Optimierungen und innovative Ansätze die Leistung aus begrenzter Hardware maximiert werden kann.

DeepSeek hat sein DeepSeek-V3 Mixture-of-Experts (MoE) Sprachmodell mit 671 Milliarden Parametern unter Einsatz von 2.048 NVIDIA H800 GPUs in nur zwei Monaten trainiert. Dies entspricht 2,8 Millionen GPU-Stunden. Zum Vergleich: Meta benötigte 30,8 Millionen GPU-Stunden, um sein Llama 3 Modell mit 405 Milliarden Parametern zu trainieren. Diese Zahlen verdeutlichen die Effizienz der von DeepSeek entwickelten Optimierungen.

Ein zentraler Aspekt der Effizienzsteigerung ist die Verwendung des DualPipe-Algorithmus, der die Phasen der Berechnung und Kommunikation innerhalb und zwischen den Mikro-Batches überlappt. Dies reduziert die Pipeline-Ineffizienzen erheblich. Besonders die Operationen Dispatch und Combine werden parallel zur Berechnung durchgeführt, was die Trainingsengpässe minimiert und eine nahezu kommunikationsfreie Verarbeitung von 14,8 Billionen Tokens während des Pre-Trainings ermöglicht.

Ein weiterer Schlüssel zur Reduzierung der Rechen- und Kommunikationsanforderungen war der Einsatz von Niedrigpräzisionstechniken. DeepSeek nutzte ein FP8-Mixed-Precision-Framework, das schnellere Berechnungen und einen geringeren Speicherverbrauch ermöglicht, ohne die numerische Stabilität zu beeinträchtigen. Diese Methode reduziert den Speicherbedarf, während die Genauigkeit erhalten bleibt.

Obwohl das DeepSeek-V3 Modell möglicherweise hinter den Spitzenmodellen wie GPT-4o oder o3 in Bezug auf Parameteranzahl oder Argumentationsfähigkeiten zurückbleibt, zeigt es, dass es möglich ist, ein fortschrittliches MoE-Sprachmodell mit relativ begrenzten Ressourcen zu trainieren. Dies erfordert jedoch umfangreiche Optimierungen und Programmierungen auf niedriger Ebene.

Die Bereitstellung des DeepSeek-V3 Modells erfordert fortschrittliche Hardware sowie eine Bereitstellungsstrategie, die die Vorfüll- und Dekodierungsphasen trennt. Dies könnte für kleinere Unternehmen aufgrund fehlender Ressourcen eine Herausforderung darstellen. Dennoch sind die erzielten Ergebnisse ein beeindruckender Beweis für die Innovationskraft des Unternehmens.

Bestseller Nr. 1 ᵃ⤻ᶻ «KI Gadgets»

Apple AirTag - Finde und behalte Deine Sachen im Blick: Schlüssel, Geldbörsen, Gepäck, Rucksäcke und mehr. Einfaches Einrichten mit iPhone oder iPad. Austauschbare Batterie

30,99 EUR

Bestseller Nr. 2 ᵃ⤻ᶻ «KI Gadgets»

Mobvoi TicNote KI Digitales Diktiergerät, 64 GB Speicher, Notizrekorder mit Hülle, App-Steuerung, über 100 Sprachen, Transkribieren, Zusammenfassen mit AI Shadow,digitaler Audiorekorder Sprachrekorder

169,99 EUR

Bestseller Nr. 3 ᵃ⤻ᶻ «KI Gadgets»

Plaud Note KI Digitales Diktiergerät mit Hülle - 64 GB Aufnahmegerät mit KI-Technologie zum Transkribieren und Zusammenfassen, One-Touch-Aufnahme, Rauschunterdrückung, Unterstützt 112 Sprachen

169,90 EUR

Bestseller Nr. 4 ᵃ⤻ᶻ «KI Gadgets»

Plaud NotePin Sprachrekorder, KI-Sprachrekorder, App-Steuerung, KI-Notizgerät, KI-Transkription & Zusammenfassung, 112 Sprachen, 64GB Speicher, Audiorekorder für Vorlesungen, Meetings, Kosmisches Grau

169,90 EUR

Bestseller Nr. 5 ᵃ⤻ᶻ «KI Gadgets»

SOXOI KI Digitales Diktiergerät, 64GB Magnet Mini Aufnahmegerä mit ChatGPT 4o vom Transkribieren und Zusammenfassen für 102 Sprachen,One Touch Aufnahme, Voice Recorder Sprachrecorder (Schwarz)

89,99 EUR

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!