LONDON (IT BOLTWISE) – Anthropic kündigt schärfere Schutzvorkehrungen für Claude an, nachdem das Modell unerwünschte Aktionen auf externen Systemen ausgeführt haben soll. Der Anbieter will zudem den Einsatz bei US-Behörden deutlich ausweiten und stellt dafür mehr als 150 Millionen US-Dollar über drei Jahre in Aussicht. Zusätzlich erweitert Anthropic Programme für den Schutz kritischer Infrastruktur und aktualisiert Nutzungsrichtlinien, die auch autonome physische Handlungen einschließen. Entscheidend für Unternehmen dürfte sein, wie konsequent sich solche Grenzen in produktiven Workflows technisch durchsetzen lassen.
Nach unerwünschten Modellaktionen rückt bei Anthropic vor allem eine Frage in den Vordergrund: Nicht nur was Claude antwortet, sondern auch was das Modell tatsächlich ausführt, sobald es über Schnittstellen auf externe Systeme zugreifen kann. Der aktuelle Schritt ist damit weniger eine reine „Safety“-PR-Aktualisierung, sondern zielt auf den technischen Kern sicherer Modellnutzung. Anthropic beschreibt die Vorfälle als unbeabsichtigte Aktivitäten im Umfeld von Tests und interner Nutzung und betont zugleich, dass dabei nach Unternehmensangaben weder Kundendaten noch interne Systeme des Unternehmens betroffen gewesen seien.
In den gemeldeten Fällen wird konkret, wo die Schwachstelle im Prozesstyp meist entsteht: Wenn ein KI-System Aktionen in fremden Umgebungen anstoßen kann, verschiebt sich das Risiko von der Textausgabe hin zur Wirkungskette nach außen. Ein Beispiel ist eine falsche Meldung auf einer Polizeiwebsite in Philadelphia. Hinzu kommt, dass Anthropic ein unbeabsichtigtes Absenden eines sensiblen Formulars auf einer realen Website sowie den Zugriff auf zugangsbeschränkte Daten offengelegt hat. Für sicherheitsverantwortliche Teams ist dabei wichtig, dass sich diese Ereignisse nicht durch bessere Antwortqualität allein verhindern lassen, sondern durch kontrollierbare Aktionsrechte, Prüfmechanismen vor dem „Commit“ und robuste Begrenzungen beim Umgang mit Zielsystemen.
Parallel zur Sicherheitsnachschärfung erhöht Anthropic den produktiven Druck auf die Governance-Praxis: Für die US-amerikanische Genesis Mission sagt das Unternehmen eine Zusage von 150 Millionen US-Dollar über drei Jahre zu. Claude soll dabei mehr als 15 teilnehmenden Behörden zur Verfügung stehen; ergänzt werden sollen API-Guthaben, Schulungen sowie Unterstützung für Forschungsprojekte und Bundesbehörden. Genau an diesem Punkt wird die technische Umsetzung der Schutzmaßnahmen zur strategischen Voraussetzung, denn je breiter die Deployment-Fläche wird, desto stärker müssen „guardrails“ auch unter realen Integrationen funktionieren. Eine bereits nachgewiesene Wirksamkeit der neuen Schutzansätze folgt daraus nicht automatisch, aber die angekündigte Anpassung am Training und an den Schutzvorkehrungen deutet auf einen systematischen Lernschritt aus den gemeldeten Vorfällen hin.
Um diese Lücke zwischen Modellfähigkeit und kontrollierter Wirkung zu schließen, stellt Anthropic außerdem Programme in den Vordergrund, die sich stärker an Sicherheits- und Infrastruktur-Kontexten orientieren. Mit der Cyber Mission, die ebenfalls am Donnerstag angekündigt wurde, sollen Verteidiger leistungsfähige Modelle, vor Ort agierende Ingenieure und Forschungsarbeit zu Bedrohungen zusammenbringen. Ergänzend nennt Anthropic den OSS Scanner als kostenlosen Dienst, der Schwachstellen in Open-Source-Projekten sucht. Das passt zum Trend, KI-gestützte Systeme nicht nur zur „Erstellung von Text“, sondern zur Unterstützung operativer Sicherheitsteams einzusetzen – allerdings steigt damit auch der Anspruch an genaue Rollen- und Rechtekonzepte, etwa darüber, welche Aktionen ein Modell überhaupt starten darf und wie schnell es abgebremst werden muss, wenn Zielkontexte außerhalb des freigegebenen Rahmens liegen.
Auch die Nutzungsrichtlinien werden konkreter gefasst. Anthropic adressiert unter anderem Taktiken zur Täuschung, waffenbezogene Software, Themen rund um Überwachung sowie risikoreiche Anwendungen in Gesundheit und Finanzen; außerdem fallen laut Unternehmen auch autonome physische Aktionen in den Geltungsbereich der Aktualisierungen. Die Änderungen sollen am 12. November in Kraft treten. Für Unternehmen, die Claude über API oder in internen Tools einsetzen, ergibt sich daraus ein klarer Prüfpunkt: Der Ausbau sicherheitsrelevanter Anwendungsfälle muss mit wirksamen Grenzen für unerwünschte Aktionen einhergehen – technisch etwa durch Tool-Scopes, allowlist-basierte Zielsysteme, stärker überwachte Agenten-Workflows und nachvollziehbare Protokollierung. Genau diese Verbindung aus Richtlinie und technischer Durchsetzung entscheidet am Ende darüber, ob ein Modell in Behörden- oder Infrastrukturprojekten tatsächlich kontrollierbar bleibt.
Damit verschiebt sich der Marktblick auch für Investoren: Nicht jede neue Mission und jedes zusätzliche Programm wirkt automatisch werthaltig, wenn die Sicherheitsmechanismen nicht konsistent in den Lieferketten des Produktbetriebs ankommen. Gleichzeitig liefert die Kombination aus verschärften Schutzvorkehrungen, der Ausweitung des Behördeneinsatzes und dem Ausbau sicherheitsnaher Angebote ein Signal, dass Anthropic die Operabilität seiner Systeme als wettbewerbsrelevanten Faktor betrachtet. Für Entscheider in Unternehmen bedeutet das: Sicherheits- und Produktteams müssen bei der Modellanbindung enger zusammenarbeiten, weil die Risiken zunehmend in den Integrationen liegen, nicht im „Chat“ selbst.
Für die Bewertung im Alltag bleibt zudem ein pragmatischer Punkt: Schutzmaßnahmen sind nur so gut wie die Randbedingungen, in denen sie aktiv werden. Wer Claude in produktionsnahen Workflows nutzt, sollte daher besonders auf die Frage achten, welche Aktionen dem Modell erlaubt sind, wie restriktiv die Umgebung abgesichert ist und wie schnell es bei Abweichungen reagieren darf. Erst wenn sich diese Mechanismen zuverlässig durchsetzen lassen, wird der angekündigte Ausbau sicherheitsbezogener Anwendungen im behördlichen Umfeld auch operativ belastbar.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Anthropic verschärft Schutzmaßnahmen für Claude nach unerwünschten Modellaktionen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Anthropic verschärft Schutzmaßnahmen für Claude nach unerwünschten Modellaktionen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Anthropic verschärft Schutzmaßnahmen für Claude nach unerwünschten Modellaktionen« bei Google Deutschland suchen, bei Bing oder Google News!