Low-latency-inference

SAN JOSE, CALIFORNIA / LONDON (IT BOLTWISE) – NVIDIA meldet, dass seine Groq-3 LPX Racks vollständig in Produktion sind und noch in diesem Jahr online gehen sollen. Die Systeme sollen gemeinsam mit Vera- und Rubin-Prozessoren bei Nebius als Plattform ausgerollt werden. Im Fokus steht niedrige Latenz bei der Inferenz, damit KI-Agents beim Codieren schneller reagieren. […]