Mxfp4

LONDON (IT BOLTWISE) – Mit Kimi K3 zeigt Moonshot AI, wie weit lokale KI-Inferenz mittlerweile skaliert werden kann. Das 2,8-Billionen-Parameter-Modell kommt je nach Setup mit rund 1,4 Terabyte RAM klar, lässt sich aber auch stark komprimiert in sehr kleinen Umgebungen betreiben. Entscheidend sind dabei Quantization-Aware Training ab Modellbeginn, aggressive 1-Bit-Varianten und spezielle Runtime-Formate wie GGUF. […]