Kaltstarts

LONDON (IT BOLTWISE) – Nebius hat Inferize übernommen und dessen Technologie in die Plattform Token Factory integriert. Der Fokus liegt auf sogenannten Kaltstarts: Dabei bleiben Grafikkarten beim Laden von Modellen zunächst ungenutzt, was die Effizienz in der Inferenznutzung steigern soll. Laut Unternehmensangaben soll die Lösung das Starten und Skalieren großer KI-Modelle beschleunigen und die Kosten […]