Bonsai 27B: 27-Milliarden-Parameter-KI komprimiert auf iPhone-Größe
SAN FRANCISCO / LONDON (IT BOLTWISE) – PrismML bringt mit Bonsai 27B ein 27-Milliarden-Parameter-Modell an den Rand der Smartphone-Speicherlimits. Entscheidend ist eine aggressive, durchgängige Kompression auf 1 bis knapp 2 Bit pro Gewicht, die Reasoning- und Agentenfähigkeiten trotz kleinerer Bauformen erhalten soll. Laut Whitepaper erreicht die kleinere Variante auf einem iPhone 17 Pro Max rund […]
Linux übertrifft Windows bei KI-Inferenz mit llama.cpp
LONDON (IT BOLTWISE) – Ein neuer Benchmark zeigt, dass Linux bei der KI-Inferenz mit llama.cpp Windows deutlich übertrifft. Auf identischer Hardware liefert Linux 15-25% schnellere Token-pro-Sekunde-Raten, was die Attraktivität von Linux für lokale KI-Startups erhöht. In einem aktuellen Benchmark-Vergleich zwischen Windows 11 und Lubuntu 26.04, durchgeführt auf identischer Hardware mit einer RTX 5080 und einem […]
Lokale Sprachmodelle: Effiziente Nutzung mit Ollama und Open WebUI
MÜNCHEN (IT BOLTWISE) – In der Welt der Künstlichen Intelligenz gewinnen lokale Sprachmodelle zunehmend an Bedeutung. Die Möglichkeit, diese Modelle effizient auf verschiedenen Hardware-Architekturen zu betreiben, eröffnet neue Horizonte für Entwickler und Unternehmen. Die Nutzung von llama.cpp, einer in C++ geschriebenen Bibliothek, ermöglicht es KI-Experten, Sprachmodelle lokal auf verschiedenen CPU- und GPU-Architekturen einzusetzen. Diese Flexibilität […]
#Sophos
#AmazonPrime
#Bestseller
