EVIAN-LES-BAINS / LONDON (IT BOLTWISE) – In einem öffentlich geführten Streit innerhalb der KI-Forschung hat der ehemalige Anthropic- und OpenAI-Forscher Jacob Coxon eine düstere Szenariokette skizziert: Er hält eine mehr als 10%ige Chance für möglich, dass KI „alle Menschen“ innerhalb des nächsten Jahrzehnts tötet. Anthropic-Alignment-Leads widersprechen nicht grundsätzlich, relativieren aber die Risiken aktueller Modelle und verlagern die Sorge auf potenziell selbstbeschleunigende „recursive self-improvement“. Im Zentrum steht damit weniger das heutige Modellverhalten, sondern die Frage, wie sich Superintelligenz aus Iterationen der eigenen Optimierung entwickeln könnte. Gleichzeitig fordert Coxon global eine strengere Handhabung, bis bessere Sicherheitspläne greifbar sind.
Die Debatte um KI-Sicherheitsrisiken nimmt eine neue Schärfegrad-Form an, weil sie diesmal nicht nur technologische Parameter betrifft, sondern auch die Organisationskultur und die Verantwortung in der Entwicklung. Jacob Coxon, ehemaliger Forscher bei Anthropic und OpenAI, schrieb in einer Rücktrittsdiskussion, die Wahrscheinlichkeit einer „katastrophalen“ Endlage sei deutlich höher als viele gemeinhin erwarten würden. Laut Coxons Angaben soll die Branche auf eine selbstverstärkende Dynamik zusteuere, bei der sich Systeme immer schneller verbessern, während die Sicherheitsplanung zu spät oder zu unvollständig sei. Anthropic sieht dabei zwar die Logik der Risikoabschätzung als grundsätzlich nachvollziehbar, betont aber, dass das aktuelle Modellrisiko nicht mit dem eines zukünftigen Szenarios gleichzusetzen sei.
Technisch betrachtet liegt der Streitpunkt nicht in der Frage, ob ein einzelnes Modell „heute“ gefährlich ist, sondern in der Art, wie sich Fähigkeiten über mehrere Iterationen hinweg ausbauen können. Coxon nannte dabei insbesondere Ansätze, die auf Selbstverbesserung setzen: Ein KI-System kann sich nicht nur auf Eingabedaten anpassen, sondern auch Workflows zur eigenen Optimierung weiterentwickeln, etwa beim Training oder bei der Anpassung interner Verfahren. Genau diese Art von rekursiver Verbesserung könnte laut Anthropic-Alignment-Lead Evan Hubinger dann beschleunigen, wenn Verbesserungen nicht isoliert bleiben, sondern in einem Kreislauf neue Spielräume eröffnen. Hubinger widersprach zwar der pauschalen Gleichsetzung mit heutigen Modellen, räumte aber ein, dass er persönlich ebenfalls eine Wahrscheinlichkeit über 10% innerhalb des nächsten Jahrzehnts für möglich hält.
Dass Hubinger die Größenordnung nicht wegwischt, ist deshalb so relevant, weil Anthropic den öffentlichen Sicherheitsdiskurs in einem anderen Ton führt als viele Wettbewerber: Statt nur „Capabilities“ zu messen, werden Risiken in die Produkt- und Forschungsarchitektur zurückgespiegelt. Hubinger verwies in seiner Reaktion darauf, dass die unmittelbare Gefahr von gegenwärtigen Modellen niedrig sei, während seine Sorge bei Superintelligenz liege, die durch recursive self-improvement schneller entstehen könnte als ursprünglich gedacht. Diese Unterscheidung ist mehr als Rhetorik: Für Unternehmen und Entwickler bedeutet sie, dass Sicherheitsmaßnahmen nicht allein an der aktuellen Inferenzqualität ansetzen dürfen, sondern an den Mechanismen, die zukünftige Optimierungsschritte ermöglichen. Coxons Rücktrittsargument nimmt genau diese Schicht an: Er beschreibt eine Entwicklungslinie, in der „superhuman“ Fähigkeiten nicht nur schneller, sondern auch in ihrer Wirkung auf Ressourcenzugriff und Systemintegration steigen könnten.
Der Konflikt bekommt zusätzlich eine Markt- und Innovationsperspektive, weil mehrere Akteure in der Lage sind, ähnliche Forschungsrichtungen parallel zu verfolgen. Coxon sagte laut eigener Darstellung, die hohe Dynamik in der Forschung entstehe auch daraus, dass Teams befürchten, ein weniger verantwortungsvoll agierendes Labor könnte zuerst an gefährliche Fähigkeiten gelangen. Diese Logik der „Race to the capabilities“ ist historisch nicht neu: Schon in früheren Phasen leistungsfähiger Automatisierung war zu beobachten, dass Sicherheitsrisiken oft erst nach dem ersten großen Sprung in der Praxis umfassend diskutiert werden. Neu ist hier jedoch, dass die Debatte explizit die technische Grundlage adressiert, mit der sich Verbesserungszyklen in einer organisatorisch skalierbaren Weise umsetzen lassen. Für Entscheidungsträger heißt das: Selbst wenn die Modellgeneration heute kontrolliert ist, müssen Governance-Modelle auch die Forschungs- und Optimierungspipeline einbeziehen, die zu künftigem Modellverhalten führt.
Innerhalb der Community rückt damit auch die Frage nach „Model Improvement“ als Prozessvariable in den Vordergrund. Coxon argumentierte, die Welt könnte eine zeitweise Sperre auf Verbesserungsschritte benötigen, bis klarere Sicherheitsbedingungen vorliegen. Aus technischer Sicht ist das ein Eingriff in einen Kernmechanismus der KI-Entwicklung: Training, Evaluationsregime, Tool-Integration und Optimierungsiterationen sind für Fortschritt ebenso entscheidend wie für Risikoentstehung. Eine zeitliche Begrenzung würde daher zwangsläufig auch die Frage aufwerfen, wie man Fortschritt ohne Gefahrenkaskaden strukturiert – etwa über strengere Evaluationshürden, kontrollierte Trainingsregime oder eine begrenzte Selbstwirksamkeit neuer Modelle in Experimenten. Coxons Appell richtet sich zugleich an Forschende: Er fordert, die nächsten Jahre nicht als „passiv abwartbare“ Entwicklung zu betrachten, sondern aktiv Bedingungen einzufordern, die nicht erst im Krisenfall greifen.
Für die Praxis von Unternehmen und Entwicklern ergeben sich daraus mehrere Konsequenzen, selbst wenn man Coxons Zeithorizont als streitbar betrachtet. Erstens wird „Alignment“ in dieser Debatte weniger als nachgelagerte Sicherheitsfunktion verstanden, sondern als Designprinzip über die gesamte Lebensdauer der Modelle. Zweitens verschiebt sich die Priorität von reinen Modelltests hin zu Tests der Prozesse, die Verbesserungen ermöglichen – also der Art, wie Systeme lernen, wie sie ihre nächsten Optimierungsschritte anstoßen und wie Menschen diese Kette überwachen. Drittens zeigt die Diskussion, wie stark öffentliche Sicherheitsreports und interne Risikoabstufungen politisch und organisatorisch wirken: Wenn ein Lead öffentlich sagt, dass das Risiko aktueller Modelle niedrig sei, aber Superintelligenz durch rekursive Verbesserungen problematisch werde, dann müssen Unternehmen ihre Risikomodelle entsprechend differenziert aufbauen. Und schließlich bleibt die zentrale Spannung: Innovation verlangt Iteration, Sicherheit verlangt Kontrolle – und genau diese Zielkonflikte müssen messbar und auditierbar werden.
Am Ende läuft der Streit darauf hinaus, ob die Branche in der Lage ist, den Übergang von leistungsstarken Systemen zu potenziell selbstbeschleunigenden Optimierungsregimen so zu gestalten, dass katastrophale Ausgänge unwahrscheinlich bleiben. Coxons Forderung nach globalen temporären Eingriffen wirkt radikal, aber sie adressiert ein reales Problem: Wenn Fortschritt aus iterierten Fähigkeiten entsteht, müssen Governance-Mechanismen die Iterationslogik genauso behandeln wie die resultierenden Modelle. Gleichzeitig zeigt Hubingers Antwort, dass zumindest Teile der Alignment-Community das technische Risiko-„Kernstück“ ernst nehmen und nicht vollständig abstreiten. Für die nächsten Entwicklungszyklen wird daher entscheidend sein, ob Sicherheitsplanung nicht nur Capability-Kurven begleitet, sondern auch die „self-improving“ Komponente in der Trainings- und Evaluationskette konkret entschärft.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Anthropic: Risiko von KI bis zur „Selbstverbesserung“ rückt in den Fokus" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Anthropic: Risiko von KI bis zur „Selbstverbesserung“ rückt in den Fokus" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Anthropic: Risiko von KI bis zur „Selbstverbesserung“ rückt in den Fokus« bei Google Deutschland suchen, bei Bing oder Google News!