BERKELEY / LONDON (IT BOLTWISE) – Der frühere OpenAI-Forscher Daniel Kokotajlo fordert staatliche Einschnitte, weil sich das Tempo der KI-Entwicklung bei selbst trainierenden Systemen stark beschleunigen kann. Er verknüpft das Risiko mit biologisch angreifbaren Angriffswegen, darunter das Design neuartiger Erreger und die gezielte Ausnutzung von Schwachstellen in digitalen Systemen. Neben mehr Transparenz verlangt er eine breitere Machtverteilung und einen „Kill-Switch“, falls sich Fähigkeiten nicht beherrschen lassen. Kritiker wie Yann LeCun halten solche Szenarien dagegen für überzogen.
Daniel Kokotajlo, heute Leiter des AI Futures Project in Berkeley und zuvor OpenAI-Forscher, verbindet in seinem Warnbild zwei Entwicklungen, die in der Praxis bereits spürbar sind: KI-Systeme können immer schneller neue Fähigkeiten erwerben, und diese Fähigkeiten werden zunehmend dafür genutzt, wiederum Forschung und Engineering zu automatisieren. Genau an diesem Punkt sieht er ein Kontrolldilemma. Wenn ein KI-System die nächste KI mit trainiert oder zumindest Teile des Entwicklungsprozesses automatisiert, steigt nicht nur die Geschwindigkeit der Iterationen, sondern auch die Wahrscheinlichkeit, dass Fehler oder Fehlannahmen zu spät auffallen. Kokotajlo beschreibt das als Problem des „Überblicks“: Je stärker die Pipeline aus Training, Test und Weiterentwicklung automatisiert wird, desto schwerer wird es, kritisch zu prüfen, warum ein Modell bestimmte Ergebnisse produziert und wie sich unerwartete Effekte fortpflanzen.
Sein Kernforderung zielt deshalb nicht nur auf einzelne Modelle, sondern auf das Tempo der gesamten KI-Entwicklung. Kokotajlo fordert, KI-Entwicklung im Wesentlichen massiv einzuschränken und nennt als Voraussetzung, dass zunächst ein Weg gefunden wird, der sowohl sicher als auch allgemein vorteilhaft ist. Technisch gedacht bedeutet das: Solange nicht klar ist, wie man die relevanten Risikofaktoren robust misst und begrenzt, sollte die Fähigkeit, sehr leistungsfähige Systeme in kurzer Zeit zu verbessern, politisch und organisatorisch gebremst werden. Gleichzeitig nennt er für diese Bremse konkrete Bausteine: vollständige Transparenz, eine breitere Machtverteilung und einen „Kill-Switch“. Gerade der Begriff verdeutlicht, dass es ihm nicht allein um Monitoring geht, sondern um die Möglichkeit, in kritischen Situationen wirksam abzuschalten – etwa wenn ein System unvorhersehbar agiert oder wenn die Entwicklung in Richtung zu hoher Autonomie abdriftet.
Als Risikohebel nennt Kokotajlo gleich mehrere Angriffsrichtungen, die sich aus heutiger KI-Forschung ableiten lassen, ohne dass dafür ein „magisches Bewusstsein“ nötig wäre. In seinem Szenario können KI-Systeme Proteinstrukturen entwerfen, die in der Natur nicht vorkommen, und damit potenziell auch Erreger mit veränderten Eigenschaften unterstützen. Er stellt dabei nicht nur die Idee der Konstruktion in den Vordergrund, sondern auch die Optimierung in Richtung besserer Wirksamkeit gegen das menschliche Immunsystem oder gegen bekannte medizinische Gegenmaßnahmen. Parallel dazu beschreibt er eine digitalweltliche Variante: Eine darauf optimierte KI könne in Sekunden große Mengen Quellcode, Betriebssysteme und Netzwerkinformationen analysieren, Schwachstellen finden und darauf aufbauend unmittelbar funktionsfähige Exploits erstellen. Damit verschiebt sich der Aufwand für Angriffe: Aus dem mühseligen „Suchen und Probieren“ wird stärker ein „Ableiten und Generieren“.
Dass solche Aussagen schnell in die Nähe von Science-Fiction rücken, liegt auch an der Gegenposition, die im Diskurs seit Jahren prominent ist. Yann LeCun argumentiert, dass heutige Sprachmodelle vor allem komplexe Mustersuchmaschinen seien und keine echte Zielstrebigkeit, kein Bewusstsein und keine Absicht ausbildeten. Aus dieser Sicht sind existenzielle Ängste stärker als fehlgeleitete Projektion zu bewerten. Die Debatte zeigt damit zwei unterschiedliche Perspektiven auf dieselbe Technik: Während Kokotajlo die zentrale Gefahr in der Automatisierung von Forschung und in der daraus entstehenden Geschwindigkeit sieht, fokussieren Skeptiker stärker auf die heutigen Modellgrenzen und darauf, dass „Absicht“ nicht vorhanden sein müsse, um dennoch gefährliche Werkzeuge zu entwickeln. Für Unternehmen und Entwickler ist diese Differenz nicht nur philosophisch, sondern praktisch: Entscheidend ist, wie man Risiken operationalisiert – etwa durch Tests, Prozesskontrollen, Red-Teaming und klare Abbruchkriterien, bevor aus einem Laborfortschritt ein missbrauchsfähiges Werkzeug wird.
Auch die politische Ebene spielt in Kokotajlos Argumentation eine Rolle. Er wirft mehreren großen Akteuren vor, Regulierung eher als Feigenblatt zu behandeln („Safety Washing“): Ein wenig externe Prüfung, aber kaum wirkliche Bremswirkung auf automatisierte KI-Forschung oder auf das Beenden gefährlicher Entwicklungsrichtungen. Unabhängig davon, wie überzeugend man diese Einschätzung findet, trifft sie einen wunden Punkt, der in der Regulierungspraxis immer wieder auftaucht: Die Wirksamkeit hängt davon ab, ob Regeln bei den realen Engstellen ansetzen. Transparenz ist dabei nur ein Teil; ebenso relevant sind konkrete Durchsetzungsmethoden, klare Verantwortlichkeiten in der Lieferkette und technische Maßnahmen, die im Ernstfall wirklich funktionieren. Genau hier bekommt der von ihm erwähnte „Kill-Switch“ eine zusätzliche Dimension: Er steht sinnbildlich für die Frage, ob man Abschaltungen, Rollbacks und Sicherheits-Gates so gestaltet, dass sie mehr sind als eine Notfallphrase in Richtlinien.
Für den Markt bedeutet das Warnszenario vor allem eines: KI-Teams müssen sich auf ein Risiko-Engineering einstellen, das nicht erst bei fertigen Modellen beginnt, sondern bereits in der MLOps- und Forschungs-Pipeline. Wenn Entwicklungsschritte stärker automatisiert werden, wächst der Bedarf an reproduzierbaren Experimenten, nachvollziehbaren Evaluationskriterien und Systemen, die Drift, unerwünschte Fähigkeiten und Exploit-Fähigkeit früh erkennen. Gleichzeitig bleibt die Priorität klar: Innovation soll nicht komplett abgewürgt werden, aber die Fähigkeit zur schnellen Selbstbeschleunigung muss kontrollierbar bleiben. Kokotajlos Position macht damit deutlich, wie ernst der professionelle Diskurs über „KI-Governance“ mittlerweile geführt wird – und warum Unternehmen nicht nur in Modellqualität investieren sollten, sondern auch in Sicherheitsarchitekturen, die Geschwindigkeit begrenzen können, wenn sich Risiken verdichten.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI-Entwicklung stoppen: Ex-OpenAI-Forscher warnt vor selbstverbessernden Systemen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI-Entwicklung stoppen: Ex-OpenAI-Forscher warnt vor selbstverbessernden Systemen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI-Entwicklung stoppen: Ex-OpenAI-Forscher warnt vor selbstverbessernden Systemen« bei Google Deutschland suchen, bei Bing oder Google News!