Software-optimierung

LONDON (IT BOLTWISE) – Der französische KI-Startup Kog will die LLM-Inferenz deutlich beschleunigen, ohne auf neue Hardware setzen zu müssen. Das Unternehmen argumentiert, dass sich aus bereits vorhandenen Rechenzentrums-GPUs wesentlich mehr Leistung herausholen lässt. In einer frühen Vorschau zeigt Kog sehr schnelle Token-Generierung pro Anfrage und adressiert damit vor allem Workflows, die an Latenz und […]