MÜNCHEN (IT BOLTWISE) – Eine Forschungsgruppe hat mit TinyLlama ein bahnbrechendes Mini-KI-Modell vorgestellt, das trotz seiner geringen Größe eine beeindruckende Leistungsfähigkeit aufweist.
TinyLlama, entwickelt von Associate Professor Lu Wei von der Singapore University of Technology and Design (SUTD), Forschungsassistent Zhang Peiyuan sowie den Doktoranden Zeng Guangtao und Wang Tianduo, ist ein Open-Source-Sprachmodell mit 1,1 Milliarden Parametern. Dieses Modell hat in nur vier Monaten auf einer Datengrundlage von drei Billionen Tokens trainiert und dabei in verschiedenen Benchmarks andere Open-Source-Modelle ähnlicher Größe übertroffen.
Im Gegensatz zu aktuellen großen Sprachmodellen wie ChatGPT oder Google Bard, die von großen Technologieunternehmen wie OpenAI oder Google entwickelt wurden und Tausende oder gar Zehntausende von Grafikprozessoreinheiten (GPUs) sowie eine Online-Verbindung zu ihren umfangreichen Servern benötigen, basiert TinyLlama lediglich auf 16 GPUs und benötigt nur 550MB Arbeitsspeicher (RAM). TinyLlama kann somit problemlos auf mobilen Geräten eingesetzt werden und ermöglicht es jedem, einen “Mini-ChatGPT” überallhin mitzunehmen.
Laut Marktechpost, einer kalifornischen Plattform für Nachrichten über Künstliche Intelligenz mit einer Gemeinschaft von über 1,5 Millionen AI-Profis und Entwicklern, zeigt TinyLlamas Leistung bei Aufgaben zur Allgemeinwissen-Logik und Problemlösung das Potenzial kleinerer Modelle, hohe Leistungen zu erbringen, wenn sie mit einer erheblichen Datenmenge trainiert werden. Dies eröffnet neue Möglichkeiten für Forschung und Anwendung im Bereich der natürlichen Sprachverarbeitung, insbesondere in Szenarien, in denen die Rechenressourcen begrenzt sind.
Prof. Lu, Direktor der StatNLP-Forschungsgruppe, die sich auf die Forschung zur natürlichen Sprachverarbeitung konzentriert, betonte die Bedeutung kleiner Sprachmodelle: “Kleinere Technologieunternehmen und Forschungslabore können nun ihre eigenen Modelle für eine Vielzahl von Anwendungen entwickeln und so die Sprachmodelle demokratisieren. Unser Ziel ist es, die Grundlagen für kleine Sprachmodelle zu schaffen und bedeutende wissenschaftliche Fortschritte in diesem Bereich zu erzielen.”
TinyLlama basiert auf der Architektur und dem Tokenizer von Llama 2 und integriert mehrere modernste Technologien, darunter FlashAttention, das die Recheneffizienz verbessert. Trotz seiner kleineren Größe im Vergleich zu einigen seiner Vorgänger zeigt TinyLlama außergewöhnliche Leistungen bei verschiedenen nachgelagerten Aufgaben und fordert die Annahme heraus, dass größere Modelle immer besser sind.
Mit seiner kompakten Architektur und außergewöhnlichen Leistung kann TinyLlama Endanwendungen auf mobilen Geräten ermöglichen und als leichtgewichtige Plattform für die Forschung an Sprachmodellen dienen.
Unternehmen wie das führende globale Verbraucherinternetunternehmen Sea Limited und die DSO National Laboratories, eine nationale Forschungs- und Entwicklungsorganisation für Verteidigung, haben den TinyLlama-Quellcode von GitHub für Forschungszwecke heruntergeladen.
Dr. Liu Qian, Forschungswissenschaftlerin und Teamleiterin der Natural Language Processing Group im Sea AI Lab, sagte: “In unseren Forschungsprojekten zu Sprachmodellen haben wir das TinyLlama-Projekt als wendiges und effizientes Testbett genutzt. Seine Codebasis ist kompakt und gut strukturiert, was einfache Modifikationen für verschiedene Zwecke ermöglicht. Mit Zugang zu mehreren 1B-Modell-Checkpoints validieren wir Hypothesen schneller und erhalten schnelleres Feedback im Vergleich zu den Llama-7b-Modellen.”
TinyLlama ist derzeit auf GitHub verfügbar und war etwa eine Woche lang ab dem 3. Januar 2024 das am meisten beachtete Projekt auf Hugging Face, einer Plattform für AI-bezogene Projekte, unter über 460.000 Modellen. Pläne zur weiteren Verbesserung von TinyLlama sind in Arbeit.
- Die Zukunft von Mensch und MaschineIm neuen Buch des renommierten Zukunftsforschers und Technologie-Visionärs Ray Kurzweil wird eine faszinierende Vision der kommenden Jahre und Jahrzehnte entworfen – eine Welt, die von KI durchdrungen sein wird
- Kurzweil skizziert in diesem intensiven Leseerlebnis eine Zukunft, in der Mensch und Maschine untrennbar miteinander verbunden sind
- Eine Zukunft, in der wir unser Bewusstsein auf eine höhere Ebene heben werden, in der wir uns aus virtuellen Neuronen neu erschaffen werden, in der wir länger leben, gesünder und freier sein werden als je zuvor
- »Eine faszinierende Erkundung unserer Zukunft, die tiefgreifende philosophische Fragen aufwirft
- « Yuval Noah HarariDank KI eröffnen sich uns in sämtlichen Lebensbereichen ungeahnte Möglichkeiten für Fortschritt, und das in exponentiellem Tempo
- Künstliche Intelligenz: Expertenwissen gegen Hysterie Der renommierte Gehirnforscher, Psychiater und Bestseller-Autor Manfred Spitzer ist ein ausgewiesener Experte für neuronale Netze, auf denen KI aufbaut
- Sein topaktuelles Buch über künstliche Intelligenz informiert, klärt auf – und macht klar, dass niemand vorhersehen kann, ob mit KI Rettung oder Untergang auf die Menschheit zukommt
- »Wir brauchen nicht darüber nachzudenken, ob eine allgemeine KI irgendwann Bewusstsein hat oder die Menschheit vernichtet – das ist Science Fiction
- Aber über reale Risiken und Gefahren von böswilligen Menschen, die KI für ihre Zwecke missbrauchen, müssen wir nachdenken – gründlich
- Und über die Verantwortung der reichsten Unternehmen der Welt auch
- Obwohl Künstliche Intelligenz (KI) derzeit in aller Munde ist, setzen bislang nur wenige Unternehmen die Technologie wirklich erfolgreich ein
- Der Experte für KI-Implementierung im Unternehmen Dr
- Tawia Odoi erklärt verständlich, was sich hinter KI verbirgt und welche immensen Vorteile sie gegenüber herkömmlicher Software bietet
- Ihm geht es darum, Berührungsängste abzubauen und KI endlich zu verstehen und anzuwenden
- Sein Buch zeigt die treibenden Kräfte auf und benennt auch mögliche Hindernisse
- Wie funktioniert Künstliche Intelligenz (KI) und gibt es Parallelen zum menschlichen Gehirn? Was sind die Gemeinsamkeiten von natürlicher und künstlicher Intelligenz, und was die Unterschiede? Ist das Gehirn nichts anderes als ein biologischer Computer? Was sind Neuronale Netze und wie kann der Begriff Deep Learning einfach erklärt werden?Seit der kognitiven Revolution Mitte des letzten Jahrhunderts sind KI und Hirnforschung eng miteinander verflochten
- Im Bereich der KI gab es in den letzten Jahren mehrere spektakuläre Durchbrüche, von alphaGo über DALL-E 2 bis ChatGPT, die so bis vor kurzem noch völlig undenkbar waren
- Doch schon heute arbeiten Forscher an den Innovationen von morgen, wie hybrides maschinelles Lernen oder neuro-symbolische KI
- Aber was verbirgt sich dahinter überhaupt?Anhand aktueller Forschungsergebnisse und spannender Beispiele aus der Praxis bietet dieses Sachbuch einen verständlichen Einstieg in die Grundlagen und Herausforderungen dieser faszinierenden Disziplinen
- Sie erfahren, was Neurowissenschaft und Psychologie über die Funktionsweise des Gehirns wissen und wie Künstliche Intelligenz arbeitet
- Richard David Precht beschäftigt sich mit den wichtigsten Fragen rund um das Thema »Künstliche Intelligenz« – und bezieht dabei auch die tiefgreifenden gesellschaftlichen Veränderungen durch die aktuelle Krise mit ein
- Während die drohende Klimakatastrophe und der enorme Ressourcenverbrauch der Menschheit den Planeten zerstört, machen sich Informatiker und Ingenieure daran, die Entwicklung einer Künstlichen Intelligenz voranzutreiben, die alles das können soll, was wir Menschen auch können – nur vielfach »optimierter«
- Ausgehend von völlig falschen Annahmen soll den Maschinen sogar eine menschenähnliche Moral einprogrammiert werden
- Richard David Precht macht uns eindringlich klar, dass das nicht möglich ist
- Denn unser Leben besteht nicht aus der Abfolge vorausberechneter Schritte
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "TinyLlama: Mini-KI-Modell mit 3 Billionen vortrainierten Token" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.