Os-schnittstelle

LONDON (IT BOLTWISE) – Ein technischer Bericht zeigt, warum große Sprachmodelle auf dem Handy nicht nur Rechenleistung, sondern vor allem resident bytes brauchen. Für 8-Milliarden-Parameter-Modelle werden demnach rund 4,63 GB Speicher allein für die Gewichte fällig. Dazu kommt je nach Kontextfenster ein zusätzlicher KV-Cache, der die verfügbare RAM-Grenze schnell erreicht. Entwickler sollen deshalb Gewichte quantisieren, […]