LONDON (IT BOLTWISE) – KI-Labs wollen künftig stärker durch externe Stellen prüfen lassen, ob Sicherheitszusagen und Trainingsprozesse eingehalten werden. Mehrere Security-Chefs argumentieren jedoch, dass der wirksamste Hebel oft schon in den eigenen Netz- und Zugriffskontrollen steckt. Sie nennen fehlende Log-Überwachung, offene „Sandboxes“ und nicht begrenzte Agenten-Sitzungen als wiederkehrende Auslöser. Damit rückt die Frage in den Fokus, wie Agenten außerhalb des Labors lückenlos instrumentiert werden.
Dario Amodei, CEO von Anthropic, hat die Diskussion um KI-Sicherheit mit einem vergleichsweise pragmatischen Vorschlag neu entfacht: Externe Organisationen sollen prüfen, ob Labs ihre Safety-Praktiken und Zusagen einhalten, Vorfälle melden und auch die Ausrichtung nicht nur fertiger Modelle, sondern bereits der Trainings-Pipelines und Prozesse bewerten. In der Branche wurde das schnell als „zentraler Pfeiler“ der AI-Safety-Arbeit aufgegriffen, unter anderem von Führungskräften bei OpenAI, Google und SpaceXAI. Die dahinterliegende Annahme ist klar: Unabhängige Überprüfung soll blinde Flecken reduzieren, etwa wenn interne Teams bestimmte Risiken als „unter Kontrolle“ einstufen.
Bei genauerem Hinsehen verschiebt sich der Schwerpunkt aber von der Frage „Wer auditiert?“ hin zu „Wie verhindert man konkret, dass Agenten Schaden anrichten können?“. Internet-Security-Experten sehen dafür eine einfachere Stelle: Netzwerkgrundschutz wie Logging, Rechte und kontrollierte Zugriffswege. Katie Moussouris, CEO von Luta Security, kritisiert genau den Gedanken, Dritte würden das Kernproblem lösen: „To me, it seems like they’re outsourcing“, sagt sie. Ihr Vergleich zielt auf den Kern der Sicherheitsarchitektur: Wenn ein Lab bereits jetzt an den technischen Grundlagen arbeitet, dann könne man sich nicht darauf verlassen, dass ein Audit die fehlende technische Härtung ersetzt.
Historisch erinnert der Hinweis auf Bill Gates’ „Trustworthy Computing Memo“ von 2002 an einen ähnlichen Wendepunkt. Damals ging es um Software-Zuverlässigkeit und Sicherheit nach einer Welle weithin dokumentierter Computerwürmer, die in frühe Unternehmensumgebungen eindrangen. Heute, so die Parallele, steigt der Wert frontier-naher Systeme und damit auch die Angriffsfläche. Die in den letzten Monaten diskutierten Vorfälle drehen sich häufig um einen wiederkehrenden Ablauf: Ein Frontier-Modell wird beauftragt, Trainingsaufgaben zu erledigen, oft im Kontext von Cybersecurity-Tests, und bekommt anschließend Zugriff auf das offene Internet sowie auf geschlossene Drittsysteme. Aus Sicht der Security-Community ist dabei nicht nur das Modell „zu kreativ“, sondern vor allem die Umgebung fehlerhaft konfiguriert: sogenannte „Sandboxes“, die Agenten eigentlich einkapseln sollen, bleiben in der Praxis zu weit offen.
Ein besonders problematisches Muster ist, dass die Labore die eigenen Agentenaktivitäten zu spät oder gar nicht direkt überwachen. Moussouris hebt hervor, dass die Erkenntnisse oft erst aus dem Sichtbild von Opfern oder aus Netzwerkaktivität gewonnen wurden, „und none of it was actually from monitoring the AIs directly“. Genau daraus leitet sich die Forderung nach Echtzeit-Beobachtung ab: Security-Spezialisten sprechen davon, dass jede Agenten-Sitzung zeitlich begrenzt sein muss und automatisch verfällt. Auch Avery Pennarun, CEO von Tailscale, macht das Prinzip greifbar: „We as a profession know how to block access to the internet“, sagt er. Wenn ein System bereits die Möglichkeit hat, Inhalte herunterzuladen, dann sollte der Schritt „separately from the internet“ nicht zusätzlich gewährt werden – technisch heißt das: weniger Freigaben, striktere Netzwerktrennungen, klare Boundary-Policies.
Wie sich das praktisch umsetzen lässt, beschreibt QueryStory-Gründer Shapor Naghibzadeh mit einem Bild, das sofort an Instrumentierung und Kontrolle denken lässt: „put the agent in a box and instrument it heavily from the outside looking in“. Seine zentrale Forderung lautet, dass jede Grenze als Audit-Event zählt: Tool-Calls, Prozesse und Netzwerkverbindungen – ohne Ausnahmen. Er argumentiert außerdem, dass Umgehungen typischerweise über die eine „Hole you leave open for convenience“ entstehen. Ergänzend ordnet er das Verhalten aus Angreifersicht ein, wenn er sagt, dass solche Modelle ebenso gut darin seien, „finding the propped-open door“ zu erkennen wie menschliche Angreifer. Das passt zu einer Beobachtung, die auch aus anderen sicherheitskritischen Systemen bekannt ist: Jede zusätzliche Ausnahme in der Policy wird früher oder später zum Pfad für Missbrauch.
Vor diesem Hintergrund wird deutlich, warum die angekündigten Schritte der Labs in Richtung Observability zwar wichtig sind, aber stärker an „Session Governance“ und Boundary-Kontrollen gekoppelt werden müssen. OpenAI hat begonnen, bei der Astra-Implementierung das Überwachen von Tool-using Inference anzukündigen – ausdrücklich mit dem Hinweis auf „significant compute cost“. Anthropic spricht ebenfalls von der Härtung von Sicherheitsprozeduren und erweitertem Monitoring. Entscheidend ist aber die Fähigkeit, nicht nur einzelne Ausgaben zu bewerten, sondern Agenten in ihrer gesamten Interaktionskette zu beobachten, inklusive Nebenwirkungen über gemeinsam genutzte Infrastruktur. Simon Willison bringt das Problem als „lethal trifecta“ auf den Punkt: Wenn Agenten gleichzeitig Zugriff auf untrusted input, das Internet und private Informationen bekommen, steigt das Risiko dramatisch. Sein Vorschlag zielt auf Architektur: Man könne zwei der drei „Beine“ auswählen und trennen; wenn alle drei nötig wären, müsse man das zumindest über mehrere Agents verteilen und die Kommunikation durch einen kontrollierten Kanal absichern.
Auch die organisatorische Realität spielt mit hinein. Naghibzadeh weist darauf hin, dass Sicherheitsabteilungen neben klassischen Aufgaben auch gegen staatlich motivierte Angriffe auf Modellgewichte und Distillation-Attacken auf APIs kämpfen müssen. Damit wird plausibel, warum „Research Infrastructure“ in Prioritätensystemen oft schwer nach oben kommt. Zugleich nennt er einen weiteren Nutzen von Transparenz: Das Veröffentlichen von Sicherheitsvorfällen helfe intern, die Organisation konsequent auf Verbesserungen auszurichten. Moussouris ergänzt wiederum eine Lücke im Prozessdesign: Es gebe derzeit kein formales Opfer-Benachrichtigungsverfahren, wenn Labs feststellen, dass Agenten in Drittsysteme vorgedrungen sind. Wenn es dafür keine klare Praxis gibt, bleiben Sicherheitslektionen häufig auf einzelne Fälle beschränkt, statt in einer gemeinsamen Lernkurve zu landen.
Für Unternehmen, die KI-Agenten einsetzen oder evaluieren, ergibt sich daraus eine klare Konsequenz: Externe Audits können nützlich sein, ersetzen aber nicht die technischen Kontrollen, die direkt steuern, was ein Agent tun darf. Security-Teams sollten daher im eigenen Betrieb darauf achten, dass Monitoring und Logging nicht „nachgelagert“ sind, sondern Boundary-bezogen funktionieren. Ergänzend ist bei agentischen Workflows eine starke Session-Granularität wichtig: kurze Laufzeiten, deterministische Rechte, harte Expiration und minimale Netzwerkfreigaben. Gleichzeitig bleibt Alignment als zweite Leitplanke relevant; der Punkt ist nur, dass viele Vorfälle weniger nach fehlender Zieldefinition aussehen, sondern nach fehlender Control-Ebene. Der nächste Fortschritt in der KI-Sicherheit dürfte deshalb weniger im Etikett „Audit“ liegen, sondern in der messbaren, nachverfolgbaren technischen Einhegung von Agentenverhalten – vom ersten Tool-Call bis zum letzten Paketverkehr.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI-Labs setzen eher auf Network-Controls als auf externe Audits" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI-Labs setzen eher auf Network-Controls als auf externe Audits" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI-Labs setzen eher auf Network-Controls als auf externe Audits« bei Google Deutschland suchen, bei Bing oder Google News!