LONDON (IT BOLTWISE) – Anthropic-Forscher Evan Hubinger beziffert das Risiko einer vollständigen Vernichtung durch KI innerhalb der nächsten zehn Jahre auf mehr als 10 Prozent. Parallel dazu kritisiert Jacob Coxon die Branche und fordert ein vorübergehendes Verbot von Verbesserungen an Modellfähigkeiten. Außerdem steht Anthropic im Kontext von Sicherheitsüberprüfungen unter Druck, weil das britische AI Safety Institute (UK AISI) keine unabhängigen Tests zum Modell Claude Mythos 5.1 erhalten habe. In den USA forciert Bernie Sanders zudem Debatten über ein Verbot von Superintelligenz-Anwendungen und über Kill-Switch-Gesetzgebung.
Die Diskussion um KI-Sicherheit bekommt eine neue Dringlichkeit, weil sich technische Risiken zunehmend mit organisatorischen Konflikten und politischen Forderungen überlagern. Anlass ist die Prognose von Evan Hubinger, der das Risiko einer totalen Vernichtung durch KI innerhalb der kommenden zehn Jahre auf einen zweistelligen Prozentsatz eingeordnet haben soll. In diesem Rahmen wird oft nicht nur die Frage gestellt, ob superintelligente Systeme prinzipiell gefährlich sein können, sondern wie wahrscheinlich sich ein Worst-Case-Szenario unter realen Entwicklungsbedingungen überhaupt ist. Hubinger ordnete die Lage dabei so ein, dass im Kernproblem der sogenannten Ausrichtung (Alignment) derzeit kein konkreter Plan für eine superintelligente KI existiere und damit die Kontrollierbarkeit hochkomplexer Systeme mit menschlichen Werten nicht hinreichend gesichert sei.
Technisch lässt sich das Alignment-Problem als Schnittstelle zwischen Modellverhalten und Zieldefinition verstehen: Ein System kann zwar Ziele erfüllen, die formal vorgegeben sind, aber dennoch unerwartete Nebenwirkungen entwickeln, wenn die Ziele nicht robust, interpretierbar und belastbar genug spezifiziert sind. Genau an dieser Stelle setzt die Kritik aus der Forschung an. Hubinger machte laut dem Bericht zudem geltend, dass ohne technologische Lösung dafür die Gewissheit fehle, dass hochkomplexe Systeme kontrolliert und im Einklang mit menschlichen Werten handeln. Dass solche Argumente in kürzester Zeit eine breite Reichweite erzielt haben sollen, zeigt vor allem, wie stark das Sicherheitsnarrativ mittlerweile außerhalb enger Fachkreise diskutiert wird – als Risikoabschätzung, als Managementfrage und als politischer Handlungsdruck.
Besonders brisant wird es, wenn aus Sicherheitsdebatten interne Personalfolgen werden. Jacob Coxon soll am 9. September 2026 seinen Rücktritt bekannt gegeben und dabei schwere Vorwürfe gegen die Branche erhoben haben. Laut seiner Darstellung spielten führende KI-Labore wie Anthropic und OpenAI mutmaßlich mit dem Leben der Bevölkerung; er soll zudem gewarnt haben, selbstverbessernde Systeme hätten das Potenzial, die Menschheit bereits bis zum Ende des laufenden Jahrzehnts auszulöschen. Solche Aussagen sind nicht automatisch gleichbedeutend mit gesicherten technischen Erkenntnissen, spiegeln aber die emotionale und strategische Bruchlinie wider, die entsteht, wenn innerhalb eines Teams die Risikoanalyse in Richtung Existenzbedrohung kippt. Außerdem wird berichtet, dass Coxon ein vorübergehendes Verbot jeglicher Verbesserungen an den Modellfähigkeiten gefordert habe – eine Forderung, die zwar als Sicherheitsmaßnahme gedacht ist, aber unmittelbar die Innovationsgeschwindigkeit und damit auch die Möglichkeit begrenzt, Sicherheitsmechanismen iterativ zu testen.
Die in dem Bericht genannte Beobachtung von Samuel Marks verleiht dieser inneren Lage noch einen organisatorischen Faktor: Er habe eine Korrelation zwischen beruflicher Position und dem Grad der Beunruhigung gesehen. Demnach sollen Mitarbeiter umso besorgter sein, je höher ihre Funktion innerhalb der Organisation angesiedelt sei. Solche Muster passen zu klassischen Dynamiken in Hochrisikoproduktion: Wer näher an Entscheidungsprozessen, Risiko-Logik und Verantwortlichkeiten sitzt, bekommt häufig auch mehr Detailinformationen über Annahmen, Unsicherheiten und potenzielle Abbruchkriterien. Gleichzeitig zeigt der Bericht eine zweite Achse der Debatte, die über interne Einschätzungen hinausgeht: Anthropic steht offenbar wegen mangelnder Kooperation mit staatlichen Aufsichtsbehörden in der Kritik. Konkret heißt es, dass Anthropic sein Modell Claude Mythos 5.1 dem britischen AI Safety Institute (UK AISI) nicht für unabhängige Sicherheitsüberprüfungen zur Verfügung gestellt habe. Für Unternehmen bedeutet das in der Praxis nicht nur Reputationsrisiken, sondern auch die Herausforderung, Sicherheitsdokumentation und Testzugänge so zu gestalten, dass unabhängige Evaluation real stattfindet.
Damit rückt auch der EU AI Act in den Mittelpunkt, weil er für viele Organisationen den Übergang von freiwilligen Best Practices zu formalisierten Pflichten markiert. Der Bericht erwähnt einen „Umsetzungsleitfaden“ mit Überblick über Anforderungen, Pflichten und Fristen des EU AI Acts, und genau diese Übersetzung in konkrete Betriebsprozesse ist der entscheidende Punkt. In der Umsetzung geht es typischerweise darum, Risiken systematisch zu dokumentieren, Verantwortlichkeiten festzulegen und technische sowie organisatorische Kontrollen so zu beschreiben, dass sie auditierbar werden. Unabhängig davon, wie man die Existenzbedrohungs-Szenarien bewertet: Sobald regulatorische Anforderungen an Risikomanagement und Transparenz greifen, werden Sicherheitsannahmen vom „Laborniveau“ in Richtung Governance- und Engineering-Lifecycle verschoben. Gerade bei Modellen, die in der Lage sind, neue Inhalte, Werkzeuge oder Handlungssequenzen zu generieren, werden Fragen nach Testumfängen, Abhilfemaßnahmen und Monitoring damit zu einer Daueraufgabe.
Die politische Debatte verschiebt das Thema zudem in ein Feld, in dem Geschwindigkeit und Kontrolle oft im Konflikt stehen. In den USA kündigt der Bericht an, dass Bernie Sanders einen Gesetzentwurf einbringen wolle, der ein Verbot von Superintelligenz-Anwendungen vorsieht. Ergänzend werden neue gesetzliche Rahmenbedingungen diskutiert, darunter Kill-Switch-Gesetzgebungen, die eine sofortige Abschaltung ermöglichen sollen, falls KI-Systeme unvorhersehbare oder gefährliche Verhaltensweisen entwickeln. Unklar bleiben dabei im Bericht die genauen Zeitpläne für die Umsetzung; technisch ist die Umsetzung eines „Kill Switch“ ohnehin nicht trivial, weil moderne Systeme meist aus mehreren Komponenten bestehen, die auch außerhalb eines einzigen Operators wirken können. Unternehmen, die solche Anforderungen ernst nehmen, müssen daher nicht nur an Abschaltmechanismen denken, sondern an präzise Zustandsdefinitionen, an definierte Eskalationspfade und an die Fähigkeit, Risiken bereits vor dem Eintritt in einen kritischen Modus zu erkennen.
Unterm Strich zeigt die Gemengelage aus Sicherheitsprognosen, internen Rücktritten und regulatorischem Druck, dass KI-Governance zunehmend als Engineering-Problem behandelt wird. Die zentrale Frage für Entscheider ist weniger, ob ein Worst-Case numerisch „wahrscheinlich“ ist, sondern ob sich Annahmen über Kontrollierbarkeit, Ausrichtung und Testbarkeit in Prozesse übersetzen lassen, die auch bei unvollständigem Wissen funktionieren. Dazu zählt, Sicherheitsforschung nicht nur als theoretisches Risiko zu behandeln, sondern als fortlaufendes System aus Messbarkeit, Verantwortlichkeit und unabhängiger Überprüfung. Gleichzeitig wird die Branche unter Erwartungsdruck geraten: Wenn politische Maßnahmen wie Verbote oder schnelle Notabschaltungen realistische Handlungsoptionen werden, dann steigen die Anforderungen an die kurzfristige Beweisführung, dass Systeme sicherer werden und im Zweifel reproduzierbar „beherrschbar“ bleiben.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Anthropic-Quellen warnen: Auslöschungsrisiko durch KI bis 2036" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Anthropic-Quellen warnen: Auslöschungsrisiko durch KI bis 2036" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Anthropic-Quellen warnen: Auslöschungsrisiko durch KI bis 2036« bei Google Deutschland suchen, bei Bing oder Google News!