MÜNCHEN (IT BOLTWISE) – Die neueste Studie von DeepSeek AI beleuchtet die Skalierungsgesetze großskaliger Sprachmodelle, was neue Wege für die Anwendung von KI in verschiedenen Branchen eröffnen könnte. Diese Studie bietet Einblicke in die Komplexität der Skalierungsgesetze im Kontext von Large Language Models und treibt damit die Entwicklung offener Sprachmodelle voran, indem sie Herausforderungen angeht, die in früheren Forschungen aufgezeigt wurden.
In einer Welt, in der Künstliche Intelligenz (KI) täglich neue Fortschritte macht, stechen die Large Language Models (LLMs) durch ihre Fähigkeit hervor, verschiedenste Aufgaben von der Beantwortung von Fragen bis hin zur Code-Vervollständigung zu meistern. Sie werden durch selbstüberwachte Vor-Trainingsmethoden auf umfangreichen Datensätzen trainiert. Eine Gruppe von Forschern bei DeepSeek AI hat nun eine detaillierte Studie über Skalierungsgesetze veröffentlicht, die Licht in die dynamischen Skalierungsmechanismen von großskaligen Modellen bringt, insbesondere in den beliebten Konfigurationen mit 7 Milliarden und 67 Milliarden Parametern.
Das DeepSeek LLM-Projekt zielt darauf ab, die Entwicklung offener Sprachmodelle durch die Anwendung etablierter Skalierungsregeln voranzutreiben. Für die Vor-Trainingsphase wurde ein riesiger Datensatz von zwei Billionen Token zusammengestellt, der stetig erweitert wird, um den sich ändernden Anforderungen gerecht zu werden. Durch die Anwendung von Direct Preference Optimization (DPO) und Supervised Fine-Tuning (SFT) sind die DeepSeek LLM Base Modelle entstanden, die zur Entwicklung der ausgefeilten DeepSeek Chat Modelle geführt haben.
Das DeepSeek LLM mit 67 Milliarden Parametern wurde von Grund auf neu mit einem umfangreichen Datensatz in Englisch und Chinesisch trainiert. Es hat sich gezeigt, dass das DeepSeek LLM 67B effektiver ist als vergleichbare Modelle. So hat das DeepSeek LLM 67B Base in Aufgaben wie Mathematik, logisches Denken, Programmierung und Verständnis der chinesischen Sprache besser abgeschnitten als das Llama2 70B Base.
Das DeepSeek LLM 67B Chat hat insbesondere in Mathematik und Programmierung herausragende Leistungen erbracht. Mit einem beeindruckenden Ergebnis auf der Ungarischen Nationalen Abiturprüfung hat das Modell seine ausgezeichneten Generalisierungsfähigkeiten und seine Fähigkeit unter Beweis gestellt, seine Leistung über viele Aufgaben und Kontexte hinweg auszudehnen. Im Vergleich zu GPT-3.5 hat das DeepSeek LLM 67B Chat in offenen Bewertungen besser abgeschnitten.
Die Forscher haben ihre wichtigsten Beiträge wie folgt zusammengefasst: Entwicklung empirischer Skalierungsregeln zur systematischen Ermittlung der idealen Werte für Hyperparameter während des Trainings, eine genauere Darstellung der Modellskala durch Nicht-Embedding FLOPs oder Token statt Modellparametern, was die Vorhersagen des Generalisierungsverlusts für großskalige Modelle verbessert und die Genauigkeit der idealen Modell- oder Datenskalierungsmethode erhöht, sowie der Einfluss der Datenqualität auf die Skalierungsmethode, wobei eine höhere Datenqualität eine größere Rechenbudgetzuweisung zur Modellskalierung erfordert und die Bedeutung der Datenqualität im Modellbau unterstreicht.
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Kurzweil skizziert in diesem intensiven Leseerlebnis eine Zukunft, in der Mensch und Maschine untrennbar miteinander verbunden sind
- Eine Zukunft, in der wir unser Bewusstsein auf eine höhere Ebene heben werden, in der wir uns aus virtuellen Neuronen neu erschaffen werden, in der wir länger leben, gesünder und freier sein werden als je zuvor
- »Eine faszinierende Erkundung unserer Zukunft, die tiefgreifende philosophische Fragen aufwirft
- « Yuval Noah HarariDank KI eröffnen sich uns in sämtlichen Lebensbereichen ungeahnte Möglichkeiten für Fortschritt, und das in exponentiellem Tempo
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Sein topaktuelles Buch über künstliche Intelligenz informiert, klärt auf – und macht klar, dass niemand vorhersehen kann, ob mit KI Rettung oder Untergang auf die Menschheit zukommt
- »Wir brauchen nicht darüber nachzudenken, ob eine allgemeine KI irgendwann Bewusstsein hat oder die Menschheit vernichtet – das ist Science Fiction
- Aber über reale Risiken und Gefahren von böswilligen Menschen, die KI für ihre Zwecke missbrauchen, müssen wir nachdenken – gründlich
- Und über die Verantwortung der reichsten Unternehmen der Welt auch
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Der Experte für KI-Implementierung im Unternehmen Dr
- Tawia Odoi erklärt verständlich, was sich hinter KI verbirgt und welche immensen Vorteile sie gegenüber herkömmlicher Software bietet
- Ihm geht es darum, Berührungsängste abzubauen und KI endlich zu verstehen und anzuwenden
- Sein Buch zeigt die treibenden Kräfte auf und benennt auch mögliche Hindernisse
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
- Im Bereich der KI gab es in den letzten Jahren mehrere spektakuläre Durchbrüche, von alphaGo über DALL-E 2 bis ChatGPT, die so bis vor kurzem noch völlig undenkbar waren
- Doch schon heute arbeiten Forscher an den Innovationen von morgen, wie hybrides maschinelles Lernen oder neuro-symbolische KI
- Aber was verbirgt sich dahinter überhaupt?Anhand aktueller Forschungsergebnisse und spannender Beispiele aus der Praxis bietet dieses Sachbuch einen verständlichen Einstieg in die Grundlagen und Herausforderungen dieser faszinierenden Disziplinen
- Sie erfahren, was Neurowissenschaft und Psychologie über die Funktionsweise des Gehirns wissen und wie Künstliche Intelligenz arbeitet
- Richard David Precht beschäftigt sich mit den wichtigsten Fragen rund um das Thema »Künstliche Intelligenz« – und bezieht dabei auch die tiefgreifenden gesellschaftlichen Veränderungen durch die aktuelle Krise mit ein
- Während die drohende Klimakatastrophe und der enorme Ressourcenverbrauch der Menschheit den Planeten zerstört, machen sich Informatiker und Ingenieure daran, die Entwicklung einer Künstlichen Intelligenz voranzutreiben, die alles das können soll, was wir Menschen auch können – nur vielfach »optimierter«
- Ausgehend von völlig falschen Annahmen soll den Maschinen sogar eine menschenähnliche Moral einprogrammiert werden
- Richard David Precht macht uns eindringlich klar, dass das nicht möglich ist
- Denn unser Leben besteht nicht aus der Abfolge vorausberechneter Schritte
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "DeepSeek LLMs: Open-Source-KI-Modelle revolutionieren mit zweibillionen Token-Datensatz" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.