Spekulative Decodierung

SAN FRANCISCO / LONDON (IT BOLTWISE) – Ein Forschungsteam hat ein 284-Milliarden-Parameter-Modell von DeepSeek lokal auf einem Mac Studio mit 256 GB RAM zum Laufen gebracht. Entscheidend sind dabei Apples Speicherarchitektur, aggressives Offloading auf die SSD und Fortschritte im MLX-Backend. Gleichzeitig zeigt die Entwicklung bei Tools wie Ollama und dem neuen DSpark, wie stark sich […]