LONDON (IT BOLTWISE) – Lifeboat bringt eine neue Inferenz-Engine für KI-Agenten auf bestehender Hardware. Laut Anbieter sinkt die p99-Latenz bis zum ersten Token bei langen Kontexten von 189 Sekunden auf 1,5 Sekunden. Gleichzeitig steigt die für mehrere parallele Agenten-Sitzungen nutzbare Kapazität deutlich. Für den Produktiveinsatz nennt der Hersteller gestaffelte Lizenzen und eine Confidential-Computing-Edition mit Hardware-Attestierung.
Iterate Studio positioniert Lifeboat als Inferenz-Engine, die KI-Agenten nicht nur schneller macht, sondern vor allem das Verhältnis aus gleichzeitigen Sitzungen und verfügbarer Rechenleistung neu ausbalanciert. Der Ansatz zielt auf einen praktischen Engpass im Betrieb von Agenten: Statt Agenten strikt nacheinander oder mit konservativen Parallelisierungsgrenzen auszuführen, soll die Software auf bereits vorhandener Rechenhardware mehr parallele Workloads abarbeiten. In der Praxis bedeutet das weniger „Wartezeit pro Agent“ und ein höheres Throughput-Niveau, ohne dass Unternehmen zwingend ihre gesamte GPU-Flotte ersetzen müssen.
Technisch wird der Nutzen über zwei Messschienen beschrieben: Sitzungsdichte und Durchsatz. In einem Testszenario mit einer Nvidia RTX PRO 6000 Blackwell sowie dem Sprachmodell Qwen 30B-A3B gelang es, 2.048 vollständige Sitzungen auszuführen. Unter gleichen Rahmenbedingungen soll das System ohne die Lifeboat-Optimierungen nur etwa halb so viele Sitzungen erreicht haben. Für IT- und Betriebsverantwortliche ist dabei weniger die absolute Sitzungszahl als das zugrunde liegende Performance-Profil entscheidend: Wenn die Engine die parallele Auslastung pro GPU erhöht, können Rechenzentrumsbudgets besser skaliert werden und die Kosten „pro Sitzung“ sinken, sobald der Betrieb ansonsten durch Kapazitätsgrenzen gedeckelt wird.
Besonders aussagekräftig ist die zweite Kennzahl, die Iterate.ai als Datendurchsatz ausweist: Lifeboat steigert den Token-Durchsatz auf 8.714 Token pro Sekunde, statt 4.965 Token pro Sekunde bei einer herkömmlichen Ausführung. Damit adressiert der Hersteller genau die Ressourcenfrage, die bei generativen Workloads in der Unternehmensinfrastruktur häufig als erstes sichtbar wird: Rechenzeit, die sich in Tokens, also in produktionsnahen Antwortanteilen, direkt abbildet. Wenn Teams damit komplexere generative Abläufe dichter bündeln können, verschiebt sich die Architektur von „vielen kleinen, nacheinander getakteten Tasks“ hin zu „weniger, besser ausgelasteten Pipelines“ – ein Hebel, der gerade bei wiederkehrenden Agentenketten spürbar sein kann.
Der zentrale Qualitätsmarker in der Meldung ist jedoch die Latenz bis zum ersten Token. Für lange Kontextmengen – ein typischer Stolperstein, weil Agenten Historien, Befehlsketten und mehrschrittige Zustände verarbeiten müssen – nennt der Anbieter p99-Zeiten in einem Lasttest: Bei 128 parallelen Sitzungen mit Anfragen über 18.000 Token liegt die p99-Zeit bis zur Ausgabe des ersten Tokens bei 1,5 Sekunden. Ohne Lifeboat-Optimierungen sollen es im Vergleich 189 Sekunden gewesen sein. Genau diese Größenordnung entscheidet in der Praxis oft darüber, ob mehrstufige Agentenketten in interaktive Prozesse passen: Nicht nur die Gesamtausführungsdauer zählt, sondern ob Nutzer und nachgelagerte Systeme rechtzeitig „den ersten Output“ bekommen, um Entscheidungen, Rückfragen oder Folgeaktionen anstoßen zu können.
Während die Performance im Vordergrund steht, rückt parallel das Betriebskonzept in den Fokus: Lifeboat ist laut Anbieter ab sofort allgemein verfügbar und wird über gestaffelte Lizenzmodelle verkauft. Für den regulären Produktivbetrieb nennt Iterate.ai eine Standardlizenz zu 49,99 US-Dollar pro Monat. Zusätzlich existiert eine Confidential-Computing-Edition für 499,99 US-Dollar monatlich, die sich an Umgebungen mit erhöhten Datenschutz- und Sicherheitsanforderungen richtet; für beide kostenpflichtigen Stufen wird zudem eine siebentägige Testphase angeboten. Für nichtkommerzielle Zwecke sowie Evaluierungsphasen gibt es eine Developer-Lizenz, die den Betrieb auf bis zu zwei Servern innerhalb eines einzelnen Knotens ermöglicht.
Bei der Confidential-Computing-Variante geht es nicht nur um eine „höhere Stufe“, sondern um konkrete technische Voraussetzungen. Laut Beschreibung erfordert die Umgebung eine Hardware-Attestierung, die für ausgewählte Hardwarekomponenten von AMD, Intel und Nvidia unterstützt wird. Diese Kopplung an Attestierung ist aus Engineering-Sicht relevant, weil sie die Vertrauensannahmen verändert: Unternehmen können dadurch prüfen, ob die Ausführung in einer nachweisbaren Schutzdomäne erfolgt, statt nur auf Software-Einstellungen zu vertrauen. Für eine Bewertung im Enterprise-Umfeld lohnt sich daher, die Lücke zwischen „Performance-Benchmark“ und „geplanter Zielarchitektur“ sauber zu schließen: Welche GPU-Generationen sind im Bestand, wie sieht das Attestierungs-Setup im Rechenzentrum aus, und wie wirken sich diese Randbedingungen auf die gemessenen Latenz- und Durchsatzwerte aus?
Auch das regulatorische Umfeld spielt in der Ausgangsmeldung eine explizite Rolle. Der Text verweist auf den EU AI Act und ordnet die Informationsbedürfnisse von IT- und Rechtsabteilungen ein, insbesondere im Hinblick auf Fristen, Pflichten und Risikoklassen für KI-Systeme, die als Hochrisiko gelten. Für die Umsetzung in der Praxis heißt das weniger „Compliance als Extra“ und mehr „Engineering mit Dokumentationsfähigkeit“: Wenn ein Agentensystem in Richtung produktiver Workflows geht, müssen Nachweise zur Modell- und Systemverwendung, zur Risikobewertung und zu Betriebsprozessen greifbar werden. Lifeboat selbst ist dabei primär eine Inferenz-Engine; der eigentliche Beitrag liegt vermutlich in der Skalierbarkeit, die wiederum beeinflusst, wie stark Teams ihre Agenten in operative Prozesse integrieren können – und damit, welche Governance-Prozesse zeitlich mitwachsen müssen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI-Agenten schneller ausführen: Lifeboat senkt p99 von 189 auf 1,5 Sekunden" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI-Agenten schneller ausführen: Lifeboat senkt p99 von 189 auf 1,5 Sekunden" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI-Agenten schneller ausführen: Lifeboat senkt p99 von 189 auf 1,5 Sekunden« bei Google Deutschland suchen, bei Bing oder Google News!