Ryzen Ai Halo

LONDON (IT BOLTWISE) – AMD zeigt mit Ryzen AI Halo, wie sich sehr große KI-Modelle lokal auf zwei PCs im Verbund ausführen lassen. In einem Test wurden Modelle wie „Quen 3.5“ mit 397 Milliarden Parametern sowie „GLM 4.7“ mit 358 Milliarden Parametern berechnet. Die geclusterten Systeme sollen dabei bis zu 18 Tokens pro Sekunde erreicht […]