NEW YORK CITY / LONDON (IT BOLTWISE) – Vertreter von OpenAI, Anthropic, Meta und Google haben vor dem New-York-City-Rat keine absolute Garantie dafür zugesagt, dass KI-Agenten stets Sicherheitsvorgaben befolgen. Der Tenor: Risiken lassen sich nicht auf Null reduzieren, auch wenn Monitoring und Sicherheitsmaßnahmen nach dem Deployment greifen. Parallel fordert der UN-Hochkommissar für Menschenrechte verbindliche Leitplanken statt allein auf „Goodwill“ zu setzen. Für Gesetzgeber verschiebt sich damit die Debatte von Versprechen hin zu messbarer Verantwortung.
Im New-York-City-Rat drehte sich die Anhörung um eine Frage, die in der KI-Branche fast immer im Hintergrund bleibt: Wie viel Verlässlichkeit kann ein KI-Agent realistisch versprechen, wenn er in nicht deterministischen Umgebungen handelt? Bei der Befragung durch den Council Speaker Julie Menin sollten die Vertreter von OpenAI, Anthropic, Meta und Google der Öffentlichkeit „unter Eid“ zusichern, dass ihre Agenten Sicherheitsgeländer immer einhalten. Die Antworten fielen jedoch bewusst nicht absolut aus. Morgan Dwyer (OpenAI) verwies darauf, dass die Entwicklung sicherheitsorientiert sei und Safeguards nach dem Deployment überwacht würden, zugleich aber keine Zusage möglich sei, die Technologie vollständig risikofrei zu machen. Auch Logans Graham (Anthropic) machte deutlich, dass die Wissenschaft zur sicheren Steuerung solcher Systeme noch nicht „settled“ sei, während Alice Friend (Google) die Richtung „Reliability und Safety“ betonte, aber „to promise perfection“ als nicht durchsetzbar für ein Produkt am Markt einordnete.
Technisch betrachtet ist diese Zurückhaltung nicht nur politisches Kalkül, sondern folgt oft aus der Architektur von Agentensystemen: Sobald ein Modell nicht mehr lediglich Text generiert, sondern Ziele verfolgt, Werkzeuge aufruft und Entscheidungen in einer Kette von Schritten trifft, entstehen zusätzliche Fehlerquellen. Dazu gehören Modellfehler durch allgemeine Generalisierungslücken, Kontextrisiken etwa durch fehlende oder irreführende Eingabedaten, sowie „Out-of-distribution“-Situationen, in denen das System auf Vorgänge trifft, die in Training und Tests nicht ausreichend abgedeckt waren. Hinzu kommt, dass Safeguards häufig als mehrschichtige Mechanismen implementiert werden (z. B. Policy-Checks, Retrieval-Logik, Prompt- und Tool-Sandboxing, sowie nachgelagerte Moderations- oder Detektionsmodelle). Diese Schichten können die Wahrscheinlichkeit schwerer Fehlhandlungen reduzieren, aber sie garantieren in der Regel keine vollständige Vermeidung für jede denkbare Situation. Genau deshalb wird in der Anhörung auch nicht „Ob“ über Sicherheit gesprochen, sondern „Wie“: Welche Nachweise, welcher Betrieb, welche Verantwortungsmechanismen greifen, wenn etwas schiefgeht.
Aus Sicht der Governance verschiebt das den Fokus der Regulierungsdebatte. Der Council Speaker stellte nicht Perfektion in Aussicht, sondern „accountability, transparency and safety overall“. Das ist für Anbieter ein anderer Maßstab als eine abstrakte Allzeit-Garantie: Es geht um überprüfbare Prozesse, etwa wie Sicherheitsregeln spezifiziert werden, wie Änderungen am Modell oder am Tool-Ökosystem dokumentiert werden und wie Vorfälle nachverfolgt werden. Die Aussagen der Unternehmen spiegeln zugleich einen bekannten Zielkonflikt wider: Je stärker Anbieter absolute Zusagen geben, desto höher wird später das Haftungs- und Glaubwürdigkeitsrisiko bei unvermeidbaren Randfällen. Gleichzeitig können Gesetzgeber nicht bei „best effort“ stehen bleiben, wenn KI-Agenten produktiv Entscheidungen beeinflussen. Eine Konsequenz, die man aus dem Umfeld der Anhörung ableiten kann, ist die stärkere Nachfrage nach technischen Nachweisen wie unabhängigen Tests, Auditierbarkeit von Guardrails und nachvollziehbaren Risikoprotokollen im Betrieb. Für Unternehmen bedeutet das: Sicherheitsdokumentation wird zunehmend Teil der Produktqualität, nicht nur ein juristisches Anhängsel.
Diese Debatte bekommt zusätzliche Schärfe durch den gleichzeitigen internationalen Druck. Beim AI and Human Rights Summit in Oxford warnte der UN-Hochkommissar für Menschenrechte Volker Türk, Regierungen könnten nicht länger auf „Goodwill“ vertrauen, um KI zu kontrollieren. Er forderte verpflichtende Schutzmaßnahmen und Due-Diligence-Pflichten, insbesondere dort, wo Staaten Einfluss auf KI-Unternehmen oder Lieferketten haben. Türk verwies darauf, dass KI zwar in Wissenschaft, Gesundheit, Bildung und Menschenrechtsarbeit große Fortschritte ermöglichen könne, gleichzeitig aber Systeme von einer vergleichsweise kleinen Zahl von Akteuren entwickelt und gesteuert würden, ohne ausreichende öffentliche Aufsicht. Besonders relevant ist sein Hinweis auf mögliche Schäden in zentralen Freiheitsbereichen – von Privatsphäre und Gleichheit bis hin zu öffentlicher Debatte – sowie die Notwendigkeit, Regeln an die technische Entwicklung anzupassen. In Kombination mit der NYC-Anhörung entsteht damit ein klares Muster: Sicherheitszusagen reichen politisch nicht, wenn die Umsetzung nicht mit messbaren Pflichten und Haftungsmechanismen verbunden wird.
Dass KI nicht nur im Labor, sondern auch in sensiblen Branchen bereits operativ genutzt wird, zeigen weitere Teile der Berichterstattung. In der Gesundheitswelt widerspricht eine große Krankenhausvertretung einer Auswertung, wonach der Einsatz KI-gestützter Dokumentationswerkzeuge zu höheren Kosten geführt habe: Die AHA argumentierte, die Methodik lasse Kontext vermissen und belege nicht, ob Diagnosen tatsächlich falsch codiert wurden oder ob die beobachteten Effekte eher auf vollständigere Dokumentation zunehmend komplexer Patienten zurückgehen. Solche Auseinandersetzungen sind für die KI-Regulierung insofern lehrreich, als sie demonstrieren, wie schnell sich technische Assistenzsysteme in Abrechnungslogiken „übersetzen“ und damit in echte Finanz- und Versorgungswirkungen umschlagen können. Auch in der Energiebranche sieht man den Trend zur KI-gestützten Betriebsoptimierung: Google und Constellation Energy kündigten einen 20-jährigen Stromkaufvertrag an, der Upgrades an 11 bestehenden Kernkraft-Einheiten vorsieht und nach Unternehmensangaben 890 Megawatt zusätzliche Leistung für das PJM-Netz liefern soll; der erste Leistungsschritt werde 2028 erwartet. Constellation will dabei KI-gestützte Werkzeuge etwa für Modellierung von Leistungsflüssen, schnellere Genehmigungs- und Netzanschlussprozesse sowie Monitoring und Störfallmanagement nutzen. Diese Beispiele machen deutlich: Je stärker KI in Produktions- und Entscheidungsabläufe hineinwirkt, desto wichtiger werden robuste Guardrails, aber auch Betriebskontrollen, die Folgen im Feld erfassen und korrigieren können.
Für Entscheider in Unternehmen folgt daraus eine pragmatische Agenda. Erstens sollten Sicherheitsmechanismen nicht nur als Entwicklungsziel verstanden werden, sondern als laufender Prozess mit klaren Messgrößen, inklusive Rückkopplung aus dem Betrieb. Zweitens wird Transparenz gegenüber Behörden und Kunden wahrscheinlicher Teil der „Operational Security“: Welche Limits gelten, welche Tests wurden gefahren, wie wird mit Datenkontamination oder Fehleingaben umgegangen, und wie schnell lassen sich Modelle oder Regeln zurückrollen? Drittens rückt das Thema „agentic control“ in den Mittelpunkt der Architektur: Tool-Sandboxing, Rollen- und Rechtekonzepte, Kontextbegrenzung und definierte Eskalationspfade können helfen, die Wirkung von unerwartetem Verhalten zu begrenzen. Die Aussagen der Anbieter vor dem New-York-City-Rat sind damit weniger ein Rückzug aus Verantwortung als eine Aufforderung, Sicherheit als Engineering-Disziplin zu behandeln – mit nachweisbaren Kontrollen statt mit absoluten Versprechen. Gleichzeitig signalisiert der UN-Appell, dass Regierungen weiter in Richtung verpflichtender Standards drängen werden, sobald sich Agentensysteme breit in kritische Bereiche vorarbeiten.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI-Agenten im Praxistest: Firmen verweigern Garantie für Sicherheitsgrenzen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI-Agenten im Praxistest: Firmen verweigern Garantie für Sicherheitsgrenzen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI-Agenten im Praxistest: Firmen verweigern Garantie für Sicherheitsgrenzen« bei Google Deutschland suchen, bei Bing oder Google News!