4-bit-quantisierung

LONDON (IT BOLTWISE) – Meta bringt mit Muse Glimmer ein Open-Weight-KI-Modell, das für den Betrieb auf lokalen Desktop-Rechnern ausgelegt ist. Im Standardbetrieb reichen laut technischen Angaben 24 bis 32 GB RAM, durch eine 4-Bit-Quantisierung sinkt der Bedarf auf unter 20 GB. Das Modell setzt auf Speculative Decoding (DFlash) und erreicht deutlich höhere Generierungsraten als vergleichbare […]