NVIDIA und OpenAI: Optimierte KI-Modelle für RTX-GPUs

LONDON (IT BOLTWISE) – NVIDIA und OpenAI haben gemeinsam neue KI-Modelle entwickelt, die speziell für die Nutzung auf NVIDIA RTX-GPUs optimiert wurden. Diese Modelle versprechen eine schnellere und effizientere Verarbeitung von Daten sowohl in der Cloud als auch auf lokalen PCs.

NVIDIA und OpenAI haben ihre Zusammenarbeit intensiviert, um die neuesten Open-Source-KI-Modelle von OpenAI, bekannt als gpt-oss, für NVIDIA-GPUs zu optimieren. Diese Modelle bieten eine verbesserte Inferenzleistung, die sowohl in der Cloud als auch auf lokalen PCs genutzt werden kann. Die Einführung der Modelle gpt-oss-20b und gpt-oss-120b markiert einen bedeutenden Schritt in der Verfügbarkeit fortschrittlicher KI-Technologien für eine breite Nutzerbasis. Entwickler und KI-Enthusiasten können diese optimierten Modelle auf NVIDIA RTX AI-PCs und Workstations einsetzen und dabei auf beliebte Tools und Frameworks wie Ollama und llama.cpp zurückgreifen. Die Leistung der Modelle erreicht beeindruckende 256 Tokens pro Sekunde auf einer NVIDIA GeForce RTX 5090 GPU. Jensen Huang, Gründer und CEO von NVIDIA, betonte die Bedeutung dieser Entwicklung für die Stärkung der technologischen Führungsrolle der USA im Bereich der Künstlichen Intelligenz. Die gpt-oss-Modelle bieten Entwicklern weltweit die Möglichkeit, auf einer hochmodernen Open-Source-Basis aufzubauen. Die Modelle sind flexibel und verfügen über eine Kette von Gedankenfähigkeiten sowie anpassbare Anstrengungsniveaus beim Schlussfolgern. Sie wurden auf NVIDIA H100 GPUs trainiert und unterstützen Kontextlängen von bis zu 131.072, was sie ideal für Aufgaben wie Websuche, Programmierhilfe und Dokumentenverständnis macht. Die OpenAI-Modelle sind die ersten MXFP4-Modelle, die auf NVIDIA RTX unterstützt werden. MXFP4 bietet eine hohe Modellqualität bei gleichzeitig effizienter Leistung und geringeren Ressourcenanforderungen im Vergleich zu anderen Präzisionstypen. Die einfachste Möglichkeit, diese Modelle auf RTX AI-PCs zu testen, ist die Verwendung der neuen Ollama-App. Ollama ist bei KI-Enthusiasten und Entwicklern aufgrund seiner einfachen Integration beliebt und bietet eine benutzerfreundliche Oberfläche mit Unterstützung für OpenAI-Modelle. Die App ist vollständig für RTX optimiert und ermöglicht eine einfache Nutzung ohne zusätzliche Konfigurationen. Neben Ollama können Entwickler die gpt-oss-Modelle auch über andere Anwendungen und Frameworks auf RTX AI-PCs nutzen. NVIDIA arbeitet weiterhin mit der Open-Source-Community zusammen, um die Leistung auf RTX-GPUs zu optimieren. Windows-Entwickler können die neuen Modelle von OpenAI auch über Microsoft AI Foundry Local nutzen, das derzeit in der öffentlichen Vorschau verfügbar ist. Diese Open-Source-Modelle läuten die nächste Welle der KI-Innovation ein und bieten Entwicklern und Enthusiasten neue Möglichkeiten, ihre Anwendungen mit fortschrittlichen Schlussfolgerungsfähigkeiten auszustatten.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!