DeepSeek LLMs: Open-Source-KI-Modelle revolutionieren mit zweibillionen Token-Datensatz

MÜNCHEN (IT BOLTWISE) – Die neueste Studie von DeepSeek AI beleuchtet die Skalierungsgesetze großskaliger Sprachmodelle, was neue Wege für die Anwendung von KI in verschiedenen Branchen eröffnen könnte. Diese Studie bietet Einblicke in die Komplexität der Skalierungsgesetze im Kontext von Large Language Models und treibt damit die Entwicklung offener Sprachmodelle voran, indem sie Herausforderungen angeht, die in früheren Forschungen aufgezeigt wurden.

In einer Welt, in der Künstliche Intelligenz (KI) täglich neue Fortschritte macht, stechen die Large Language Models (LLMs) durch ihre Fähigkeit hervor, verschiedenste Aufgaben von der Beantwortung von Fragen bis hin zur Code-Vervollständigung zu meistern. Sie werden durch selbstüberwachte Vor-Trainingsmethoden auf umfangreichen Datensätzen trainiert. Eine Gruppe von Forschern bei DeepSeek AI hat nun eine detaillierte Studie über Skalierungsgesetze veröffentlicht, die Licht in die dynamischen Skalierungsmechanismen von großskaligen Modellen bringt, insbesondere in den beliebten Konfigurationen mit 7 Milliarden und 67 Milliarden Parametern.

Das DeepSeek LLM-Projekt zielt darauf ab, die Entwicklung offener Sprachmodelle durch die Anwendung etablierter Skalierungsregeln voranzutreiben. Für die Vor-Trainingsphase wurde ein riesiger Datensatz von zwei Billionen Token zusammengestellt, der stetig erweitert wird, um den sich ändernden Anforderungen gerecht zu werden. Durch die Anwendung von Direct Preference Optimization (DPO) und Supervised Fine-Tuning (SFT) sind die DeepSeek LLM Base Modelle entstanden, die zur Entwicklung der ausgefeilten DeepSeek Chat Modelle geführt haben.

Das DeepSeek LLM mit 67 Milliarden Parametern wurde von Grund auf neu mit einem umfangreichen Datensatz in Englisch und Chinesisch trainiert. Es hat sich gezeigt, dass das DeepSeek LLM 67B effektiver ist als vergleichbare Modelle. So hat das DeepSeek LLM 67B Base in Aufgaben wie Mathematik, logisches Denken, Programmierung und Verständnis der chinesischen Sprache besser abgeschnitten als das Llama2 70B Base.

Das DeepSeek LLM 67B Chat hat insbesondere in Mathematik und Programmierung herausragende Leistungen erbracht. Mit einem beeindruckenden Ergebnis auf der Ungarischen Nationalen Abiturprüfung hat das Modell seine ausgezeichneten Generalisierungsfähigkeiten und seine Fähigkeit unter Beweis gestellt, seine Leistung über viele Aufgaben und Kontexte hinweg auszudehnen. Im Vergleich zu GPT-3.5 hat das DeepSeek LLM 67B Chat in offenen Bewertungen besser abgeschnitten.

Die Forscher haben ihre wichtigsten Beiträge wie folgt zusammengefasst: Entwicklung empirischer Skalierungsregeln zur systematischen Ermittlung der idealen Werte für Hyperparameter während des Trainings, eine genauere Darstellung der Modellskala durch Nicht-Embedding FLOPs oder Token statt Modellparametern, was die Vorhersagen des Generalisierungsverlusts für großskalige Modelle verbessert und die Genauigkeit der idealen Modell- oder Datenskalierungsmethode erhöht, sowie der Einfluss der Datenqualität auf die Skalierungsmethode, wobei eine höhere Datenqualität eine größere Rechenbudgetzuweisung zur Modellskalierung erfordert und die Bedeutung der Datenqualität im Modellbau unterstreicht.

Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein.