OLMo 2 von Ai2: Neue Perspektiven in offenen KI-Modellen

MÜNCHEN (IT BOLTWISE) – Ai2 setzt mit der Veröffentlichung von OLMo 2 neue Maßstäbe für offene Sprachmodelle.



Das Forschungsinstitut Ai2 hat mit OLMo 2 eine weiterentwickelte Familie offener Sprachmodelle veröffentlicht. Diese Modelle, verfügbar in 7B- und 13B-Parameter-Versionen, bieten volle Transparenz und stellen die Trainingsdaten, Gewichte, Tools und Entwicklungsrezepte vollständig zur Verfügung. Damit etabliert Ai2 eine neue Stufe der Offenheit im Bereich Künstlicher Intelligenz.

Die Modelle überzeugen nicht nur durch ihre Offenheit, sondern auch durch Leistung. Der OLMo 2 7B übertrifft beispielsweise Metas Llama 3.1 8B in englischsprachigen akademischen Benchmarks, während der OLMo 2 13B das Qwen 2.5 7B-Modell klar hinter sich lässt.

Der Erfolg von OLMo 2 beruht auf einem innovativen zweistufigen Trainingsansatz. Zunächst wurde das Modell auf einem riesigen Datensatz von 3,9 Billionen Tokens trainiert, der unter anderem Datenquellen wie DCLM, Dolma und Proof Pile II umfasste. Anschließend wurde mit hochqualitativen, domänenspezifischen Inhalten aus akademischen und webbasierten Quellen nachtrainiert.

Technische Innovationen wie verbesserte RMSNorm-Schichten, rotatorische Positionsembeddings und die Integration der Tülu-3-Methodik optimieren die Leistungsfähigkeit der Modelle. Diese Anpassungen sorgen für Stabilität im Training und verhindern Leistungseinbußen bei längeren Trainingsläufen.

Ai2 bleibt seiner Verpflichtung zur offenen Wissenschaft treu. Mit OLMo 2 liefert das Institut nicht nur die vollständigen Gewichte und Daten, sondern auch eine Evaluierungsplattform namens OLMES. Diese umfasst 20 Benchmarks zur Bewertung von Schlüsselkompetenzen wie Wissensabruf, logischem Denken und mathematischen Fähigkeiten.

Forscher und Entwickler können OLMo 2 über die Plattform Hugging Face herunterladen. Dank der Apache-Lizenz 2.0 steht es jedem offen, die Modelle weiterzuentwickeln oder für eigene Projekte zu nutzen.

OLMo 2 markiert einen wichtigen Schritt in der Demokratisierung der KI und bietet der Gemeinschaft eine leistungsstarke, offene Alternative zu proprietären Modellen.

OLMo 2 von Ai2: Neue Perspektiven in offenen KI-Modellen
OLMo 2 von Ai2: Neue Perspektiven in offenen KI-Modellen (Foto: DALL-E, IT BOLTWISE)
Hinweis: Teile dieses Textes könnten mithilfe Künstlicher Intelligenz generiert worden sein.



Ergänzungen und Infos bitte an die Redaktion per eMail an de-info[at]it-boltwise.de
Stichwörter
Alle Märkte in Echtzeit verfolgen - 30 Tage kostenlos testen!


#Abo
LinkedIn
Facebook
Twitter
#Podcast
YouTube
Spotify
Apple

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert



Es werden alle Kommentare moderiert!

Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.

Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.

Du willst nichts verpassen?

Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.

144 Leser gerade auf IT BOLTWISE® online