OpenAI’s gpt-oss-20b: Lokale KI-Modelle auf dem Mac

LONDON (IT BOLTWISE) – OpenAI hat kürzlich sein lang erwartetes Open-Weight-Modell gpt-oss veröffentlicht, das es Nutzern ermöglicht, Künstliche Intelligenz lokal auf ihren eigenen Geräten zu betreiben. Besonders interessant ist dies für Besitzer von Macs mit Apple Silicon, die nun die Möglichkeit haben, das Modell direkt auf ihrer Hardware auszuführen.

OpenAI hat mit der Veröffentlichung des gpt-oss-Modells einen bedeutenden Schritt in Richtung lokaler KI-Anwendungen gemacht. Das Modell ist in zwei Varianten erhältlich: gpt-oss-20b und gpt-oss-120b. Während das kleinere Modell speziell für leistungsstarke Macs mit Apple Silicon konzipiert ist, erfordert das größere Modell erheblich mehr Ressourcen und ist für den lokalen Einsatz weniger geeignet.

Das gpt-oss-20b-Modell bietet eine interessante Möglichkeit für Nutzer, die die Leistungsfähigkeit von KI-Modellen auf ihren eigenen Geräten testen möchten. Allerdings sollten sich Anwender bewusst sein, dass das Modell im Vergleich zu größeren Modellen häufiger zu sogenannten Halluzinationen neigt, was auf die geringere Datenmenge zurückzuführen ist, mit der es trainiert wurde.

Der Betrieb eines solchen Modells auf einem Mac erfordert mindestens 16 GB RAM, wobei mehr Arbeitsspeicher die Leistung deutlich verbessern kann. Dies ist ein Grund, warum Apple seine Macs zunehmend mit mehr RAM ausstattet, um den Anforderungen moderner KI-Anwendungen gerecht zu werden.

Um das Modell zu nutzen, müssen Nutzer zunächst die Software Ollama auf ihrem Mac installieren. Diese Software dient als Schnittstelle zum gpt-oss-20b-Modell. Nach der Installation kann das Modell über das Terminal heruntergeladen und gestartet werden. Der Prozess ist relativ einfach, erfordert jedoch eine gewisse technische Affinität.

Die Nutzung des Modells kann den Mac stark beanspruchen, insbesondere wenn nur die Mindestanforderungen erfüllt sind. In ersten Tests benötigte das Modell mehrere Minuten, um einfache Anfragen zu beantworten, was zeigt, dass mehr RAM und leistungsfähigere Hardware von Vorteil sind.

Für Nutzer, die das Modell nicht mehr benötigen, bietet Ollama eine einfache Möglichkeit, das Modell zu entfernen und den belegten Speicherplatz freizugeben. Alternativ zur Nutzung von Ollama können auch andere Anwendungen wie LM Studio verwendet werden, um mit KI-Modellen auf dem Mac zu arbeiten.

Insgesamt bietet das gpt-oss-20b-Modell eine spannende Möglichkeit, die Leistungsfähigkeit von KI-Modellen lokal zu testen und zu verstehen, wie diese Technologie auf persönlicher Hardware funktioniert. Es zeigt auch, wie wichtig es ist, über die notwendigen technischen Ressourcen zu verfügen, um die volle Leistungsfähigkeit solcher Modelle auszuschöpfen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!