BERKELEY / LONDON (IT BOLTWISE) – Der ehemalige OpenAI-Governance-Forscher Daniel Kokotajlo warnt vor einer „Automatisierung der KI-Forschung“, die nach seiner Ansicht den Fortschritt unkontrollierbar beschleunigen könnte. Er fordert, die KI-Entwicklung im Kern „im Wesentlichen abzuschalten“ und den Ausbau von immer leistungsfähigeren Systemen erst nach klaren Sicherheitsmechanismen fortzusetzen. Gleichzeitig kritisiert er die von mehreren US-Anbietern geforderte Regulierung als nur scheinbar mehr Kontrolle. Ungeklärt bleibt, wie ein staatlicher Eingriff technisch und politisch so umgesetzt werden könnte, dass er tatsächlich die Entwicklungsgeschwindigkeit senkt.
Daniel Kokotajlo, bis 2024 in der Governance-Abteilung von OpenAI tätig, macht aus seiner Sorge kein Geheimnis: Er sieht die derzeitige Ausrichtung der KI-Industrie auf automatisierte Entwicklungszyklen als Überschreitung einer Kontrollgrenze. In seinem Argumentationsstrang steht weniger die reine Modellgüte im Vordergrund, sondern der Prozess, mit dem KI sich selbstständig verbessert, weil nachfolgende Modelle auf den bereits gemessenen Ergebnissen aufbauen. Wenn eine Maschine die nächste trainiert, verschiebt sich aus seiner Sicht das Tempo des Fortschritts deutlich – und mit jeder zusätzlichen Iterationsstufe wird die Aufgabe schwerer, das Gesamtbild zu behalten und versteckte Fehler rechtzeitig zu erkennen.
Technisch lässt sich die Kernidee hinter Kokotajlos Warnung als Kaskade aus Datenaufbereitung, Experimentplanung, Training und Bewertung beschreiben, die zunehmend automatisiert ablaufen kann. Das Problem entsteht dann nicht nur in der Trainingsphase, sondern entlang der gesamten Pipeline: Hyperparameter-Suchen, Architekturvarianten, Datensatz-Auswahl und die Auswertung der Resultate können zunehmend von Systemen übernommen werden, die jeweils neue Trainingsläufe anstoßen. Genau dort liegt sein Sicherheitskritikpunkt: Wenn einzelne Tests oder Abnahmekriterien bei hoher Iterationsrate weniger aufmerksam kuratiert werden, steigt die Wahrscheinlichkeit, dass unerwünschte Verhaltensmuster oder Messartefakte nicht sofort sichtbar werden. Kokotajlo nennt deshalb die fehlende menschliche Fähigkeit als Engpass, KI „mit dem Skalpell zu regulieren“ und sauber zwischen „gut“ und „schlecht“ zu unterscheiden.
Besonders scharf fällt in dem Beitrag die Kritik an dem Begriff der Regulierung aus. Kokotajlo ordnet die von mehreren großen US-Anbietern geforderte, eher begrenzte Aufsicht als eine Art Signalwirkung ein: Er spricht von „Safety Washing“ und meint damit, dass das öffentliche Narrativ nach außen mehr Kontrolle suggerieren könne, ohne tatsächlich die automatische Entwicklung zu verlangsamen oder zu stoppen. Er stellt dabei Anthropic, OpenAI, X und Google in einen gemeinsamen Kontext, ohne dass der Text konkrete Gesetzesinitiativen oder deren Inhalte im Detail ausführt. Die Bruchstelle in seiner Argumentation ist damit auch politisch: Wenn Regulierung vor allem externe Prüfinstanzen adressiert, aber die eigentliche Geschwindigkeit der KI-Entwicklung unberührt lässt, verschiebt sich das Sicherheitsfenster.
Aus seiner Perspektive führt die von der Techindustrie geplante Prozessautomatisierung zu einem qualitativen Sprung, den er als „Horizont“ beschreibt. Der Gedanke dahinter erinnert an klassische Kontrollprobleme in dynamischen Systemen: Je stärker Entscheidungen innerhalb eines geschlossenen Regelkreises automatisiert werden, desto wichtiger werden explizite Bremsmechanismen und eine transparente Rückkopplung. Kokotajlo fordert daher einen Schritt, den er als „wesentlichen Abschalt“-Modus bezeichnet, bis ein sicherer und allgemein vorteilhafter Weg gefunden sei. In seinem Bild braucht es dafür nicht nur technische Schutzgates, sondern auch organisatorische Voraussetzungen wie volle Transparenz und eine breitere Machtverteilung, um nicht in der Hand weniger Akteure zu konzentrieren, wer die Parameter für Geschwindigkeit und Risiko setzen kann.
Sein Vorschlag umfasst außerdem die Idee eines „Kill-Switch“ als Ausschalter – ein Begriff, der in der KI-Debatte meist als Symbol für einen endgültigen oder zumindest sehr schnell aktivierbaren Notstopp verstanden wird. In der Praxis bedeutet das: Ein solcher Mechanismus wäre nur dann wirksam, wenn er in die operative Kette greift, also nicht bloß als philosophisches Konzept existiert, sondern in Training, Deployment und besonders in das „Autopilot“-Regime eingebettet wird, das neue Experimente ausrollt. Kokotajlos Argument richtet sich damit gegen die Annahme, man könne Risiken vor allem durch nachgelagerte Prüfungen abfangen. Wenn das System zwischen den Prüfphasen bereits in rascher Folge neue Läufe anstößt, entsteht eine Zeitspanne, in der Vorfälle nicht mehr zuverlässig gestoppt oder nachvollzogen werden können.
Ein weiterer Punkt ist sein historisch geprägter Blick auf die Governance-Debatte: Seit Jahren warnt er laut Text vor existenziellen Risiken der Technologie. Das ist wichtig, weil die aktuelle KI-Industrieentwicklung seit mehreren Jahren zunehmend von „Iterationen“ lebt – von schnelleren Trainingszyklen bis hin zu stärker automatisierten Workflows in Forschung und Betrieb. Damit wächst auch die Angriffsfläche für systematische Fehler: Nicht nur Sicherheitslücken, sondern auch methodische Blindstellen können sich schneller verbreiten, wenn der Entwicklungsprozess selbst beschleunigt wird. Kokotajlo kritisiert zusätzlich den derzeit fehlenden gesellschaftlichen und institutionellen Werkzeugkasten, um mit hoher Präzision steuernd einzugreifen, sobald Superintelligenz-ähnliche Fähigkeitsniveaus möglich werden.
Für Unternehmen, die KI-Lösungen entwickeln oder in Produkte integrieren, wirkt die Forderung nach einem Stopp allerdings wie ein verschärfter Blick auf grundlegende Architekturentscheidungen: Wie viel Automatisierung ist wirklich sinnvoll, und wo müssen „Handbremsen“ in den MLOps- und Deployment-Prozess? Selbst wenn man Kokotajlos Forderung als Extremposition liest, steckt darin eine konkrete Management-Implikation. Teams müssten in ihren Trainings- und Ausrollpipelines nachvollziehbare Entscheidungsgrenzen definieren, Messprotokolle strenger an Risikoindikatoren koppeln und klare Notfallprozeduren vorsehen. Zugleich zeigt der Beitrag, wie stark die öffentliche Debatte an der Schnittstelle von Technik und Politik hängt: Regulierung wird dann zum kritischen Thema, wenn sie die Entwicklungsrate und den Automationsgrad adressiert – nicht nur die Frage, wer danach prüft.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Ex-OpenAI-Forscher fordert Stopp der KI-Forschung durch „Automation“" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Ex-OpenAI-Forscher fordert Stopp der KI-Forschung durch „Automation“" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Ex-OpenAI-Forscher fordert Stopp der KI-Forschung durch „Automation“« bei Google Deutschland suchen, bei Bing oder Google News!