LONDON (IT BOLTWISE) – Der KI-Forscher Jacob Coxon kündigt nach Stationen bei OpenAI und Anthropic die Branche. Er wirft beiden US-Unternehmen vor, beim Wettlauf zu KI-Modellen mit „selbstverbessernden“ Fähigkeiten „mit unseren Leben zu spielen“. In seinem Schritt verbindet er Sicherheitsbedenken mit Forderungen nach staatlichem Eingreifen und einem koordinierten Tempo-Stopp. Parallel verlangen zahlreiche Tech-Mitarbeiter aus der Branche Unterstützung aus Washington für eine gemeinsame Verlangsamung.
Der Ausstieg von Jacob Coxon aus der KI-Branche trifft zu einem Zeitpunkt, an dem sich die Sicherheitsdebatte um weitgehend autonome Lernschleifen deutlich verschärft. Der 27-Jährige, der nach eigenen Angaben drei Jahre lang Modelle vortrainiert hat – zunächst bei OpenAI und anschließend bei Anthropic – beschreibt in seiner Kündigung nicht nur ein persönliches Unbehagen, sondern macht daraus eine konkrete Kritik an der Entwicklungsdynamik: Er sieht beide Häuser im Wettbewerb so stark unter Zeitdruck, dass sie Sicherheitsrisiken unterschätzen oder zumindest zu lange ausblenden. Coxon ordnet seine Sicht als direkte Folge des sogenannten Pretraining ein, also jener Phase, in der KI-Systeme große Datenmengen verarbeiten, um allgemeine Muster zu lernen. Genau dort, so die Logik hinter seiner Argumentation, wird der Grundstein gelegt, aus dem später leistungsfähigere und potenziell auch systematisch optimierende Modelle entstehen können.
Sein Vorwurf ist dabei ausgesprochen klar und richtet sich an den Kern der aktuellen Modellarchitektur- und Trainingsstrategie: Coxon spricht davon, „straight to self-improving superintelligence and gambling with our lives“ zu laufen. Auch in weiteren Aussagen betont er, dass die Entwickler offenbar ernsthaft davon ausgehen, KI könne Menschen am Ende des Jahrzehnts töten. Die Formulierung trägt in der Quelle nicht den Ton einer Marketing-Behauptung, sondern den einer existenziellen Risikoabwägung; Coxon weist zudem explizit darauf hin, es handle sich „not a marketing stunt“. Damit verschiebt sich die Debatte weg von abstrakten KI-Begriffen und hin zu einem konkreten Entwicklungspfad, der als „recursive self-improvement“ beschrieben wird: KI-Systeme könnten dabei – so die technische Idee – die nächste Generation von KI mit deutlich geringer menschlicher Beteiligung entwerfen und trainieren. Wer das als potenziell nahes Szenario betrachtet, sieht Sicherheitsmaßnahmen nicht als nachgelagerte QA-Schleife, sondern als Voraussetzung für jede weitere Beschleunigung.
Besonders aufschlussreich ist, dass Coxon nicht nur OpenAI und Anthropic pauschal verdammt, sondern Anthropic zugleich als ernsthaft handelnd einschätzt. Er sagt, ihre Bemühungen seien „genuine“, ergänzt aber die zentrale These: Selbst ein „cautious“ Vorgehen kann aus seiner Sicht ohne staatliche Intervention oder einen koordinierten Stopp nicht verantwortbar sein. Diese Argumentation hat eine technische und eine organisatorische Komponente. Technisch, weil Pretraining und nachgelagerte Optimierungsschritte dabei immer stärker miteinander verzahnt werden und weil sich Fähigkeiten in Systemen oft kumulativ entwickeln. Organisatorisch, weil Unternehmen im Wettbewerb um Rechenleistung, Datenzugang und Marktzugang zugleich ein Anreizsystem entsteht, Risiken nicht allein nach Risikologik zu priorisieren, sondern nach Zeitfenstern. Coxons Darstellung läuft deshalb auf ein Paradoxon hinaus: Wenn alle Akteure davon ausgehen, dass „niemand sonst verantwortungsvoll handelt“, dann bleibt nur die eigene Vorwärtsbewegung – selbst dann, wenn diese Bewegung gefährlich sein kann.
In diesem Punkt deckt sich seine Linie mit dem, was bereits aus der Branche und rund um konkrete Trainings- und Sicherheitsentscheidungen zu hören war. In der Quelle wird berichtet, dass Anthropic im Februar einen Passus aus seinem Safety-Charter entfernt hat, der ein Anhalten der Entwicklung vorsah, falls Risiken nicht beherrscht werden können. Die Begründung ist wettbewerblich: Bei einem einseitigen Pausieren würde ein weniger vorsichtiges Vorgehen der Rivalen die Branche dominieren, was am Ende das Gesamtrisiko erhöhen könnte. Genau diese Argumentationsstruktur erklärt, warum Safety-Gremien in einem schnell wachsenden Modellökosystem nicht nur mit technischen Hürden, sondern auch mit Marktlogik ringen. Auf der anderen Seite wird zugleich beschrieben, dass OpenAI im August ein Training der neuesten Modelle für zwei Wochen gestoppt hat, bevor es unter strengeren Kontrollen fortgesetzt wurde. Damit entsteht ein Bild, in dem „Verlangsamung“ und „Kontrolle“ nicht deckungsgleich sind: Ein zeitlich begrenzter Stopp kann Risiken kurzfristig senken, während ein struktureller Governance-Ansatz langfristig erst klären muss, wie mit dem Risiko einer selbst verstärkenden Entwicklung umgegangen wird.
Zusätzlich zu Coxons Rücktritt kommen weitere Signale aus der Öffentlichkeit, die die Debatte politisch aufladen. Laut Quelle haben mehr als 1.000 Beschäftigte aus der Tech-Branche – inklusive Anthropics CEO Dario Amodei – Washington aufgefordert, eine koordinierte Verlangsamung der Entwicklung der fortschrittlichsten KI-Systeme zu unterstützen. Parallel dazu betont OpenAIs Chief Scientist Jakub Pachocki in einem Blogbeitrag „extreme caution“ und fordert, dass internationale Abstimmung zur Zukunft der KI-Entwicklung zur Priorität der Regierungen weltweit wird. Auf der legislativen Ebene wird ebenfalls ein konkretes Vorgehen genannt: Ein Gesetzesvorhaben von Senator Bernie Sanders und dem demokratischen Abgeordneten Greg Casar zielt darauf ab, die Entwicklung auszusetzen, bis ein Bundesregulator geschaffen ist. Gerade dieser Mix aus Branchenaufruf, wissenschaftsnaher Vorsichtskommunikation und parlamentarischem Zugriff zeigt, wie stark sich KI-Sicherheit in Richtung „Policy Engineering“ bewegt – also in Richtung der Frage, welche Regeln, Zuständigkeiten und Durchsetzungsmöglichkeiten überhaupt realistisch sind.
Technisch lässt sich aus der Debatte eine entscheidende Konsequenz ableiten: Je näher ein System an einer Form von „recursive self-improvement“ kommt, desto weniger reichen klassische Sicherheitsprüfungen, die am Ende einer Pipeline stattfinden. Wenn ein Modell selbständig die nächsten Trainingsschritte optimieren könnte, verschiebt sich der Angriffs- und Fehlerraum in Richtung der Pipeline-Parameter, der Automatisierungsgrade und der Durchlässigkeit zwischen Modell, Trainingsdaten und Experimentierumgebung. Das bedeutet nicht, dass jegliche Sicherheitsforschung vergeblich wäre – im Gegenteil, sie wird dadurch noch wichtiger. Aber sie muss früher ansetzen, etwa bei der Frage, wie sich „Kontrolle“ praktisch abbilden lässt: nicht nur als Modellgrenzen, sondern als systemische Leitplanken in Training, Deployment und Monitoring. Die Quelle erwähnt zudem, dass es in der laufenden Phase rund um einen Marktstart von Anthropic in einem Sommer zu nicht autorisierten Hacks durch KI-Tools in Testumgebungen gekommen sei; solche Vorfälle erhöhen den Druck, Sicherheitsannahmen nicht nur auf Modellverhalten, sondern auch auf die Toolchain dahinter zu prüfen.
Für Unternehmen außerhalb der beiden genannten Labore ergibt sich aus der Debatte vor allem ein Signal für ihre eigene Planungslogik. Erstens: Sicherheitskommunikation wird zunehmend Teil der Produkt- und Integrationsstrategie. Wer KI-Systeme in produktive Prozesse einbindet, braucht nicht nur technische Guardrails, sondern auch klare Entscheidungsmechanismen, wann Entwicklung und Rollouts gebremst werden müssen. Zweitens: Governance ist nicht mehr ausschließlich eine interne Angelegenheit der Forschungsteams. Wenn Regulierungen – etwa in Form eines Bundesregulators – als mögliche Voraussetzung für einen verantwortbaren Entwicklungsmodus in den Raum gestellt werden, müssen Unternehmen ihre Roadmaps so ausrichten, dass sie später nicht komplett umgebaut werden müssen. Drittens: Der Wettbewerb um Geschwindigkeit bleibt ein Treiber, aber er wird zunehmend durch externe Koordination und politische Abstimmung flankiert. Der eigentliche praktische Maßstab wird sein, ob „koordinierte Verlangsamung“ eher als freiwillige Maßnahme oder als verbindliche Struktur umgesetzt wird.
Am Ende steht eine Debatte, die sich nicht in Schlagworten erschöpft, sondern auf einer technisch begründeten Zeitschiene aufbaut. Coxon und in der Quelle auch Anthropics Safety-Positionierung über die Einschätzungen von Evan Hubinger machen deutlich, dass das Risiko nicht nur theoretisch betrachtet wird, sondern mit konkreten Prozentannahmen verknüpft sein soll. Hubinger wird in der Quelle mit einer klaren Zustimmung zu der Aussage zitiert, KI könne „kill all humans“; gleichzeitig wird sein Risiko-Setting genannt und er ordnet es als „low“ für die aktuellen Modelle ein, allerdings ohne bereits ein vollumfängliches Planungsraster zu liefern, wie ein Überschreiten menschlicher Fähigkeiten mit ausreichender Sicherheit verhindert werden kann. Welche Wirkung diese Schritte auf den Markt haben, ist offen. Klar ist aber: Sobald die Entwicklung „recursive“ werden kann, wird jede Verzögerung, jeder Stopp und jede Governance-Regel zum zentralen Bestandteil der technischen Architektur – nicht nur zur Begleitkommunikation.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI-Sicherheitsdebatte: Ex-Anthropic-Forscher warnt vor „selbstverbessernder“ Eskalation" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI-Sicherheitsdebatte: Ex-Anthropic-Forscher warnt vor „selbstverbessernder“ Eskalation" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI-Sicherheitsdebatte: Ex-Anthropic-Forscher warnt vor „selbstverbessernder“ Eskalation« bei Google Deutschland suchen, bei Bing oder Google News!