NEW YORK CITY / LONDON (IT BOLTWISE) – Jacob Coxon, ehemaliger Capabilities-Researcher bei Anthropic, warnt vor einer beschleunigten Automatisierung von KI-Forschung. In seiner Aussage vor dem New-York-City Council ordnet er die Entwicklung nach eigenen Beobachtungen in einen Zeitplan bis 2027/2028 ein. Er beschreibt zudem, dass heute ein Großteil des Codes bereits von KI-Systemen erstellt werde und menschliche Prüfungen nachgelassen hätten. OpenAI und Anthropic hätten auf seine Vorwürfe zunächst nicht unmittelbar reagiert.
Die Debatte um KI-Risiken bekommt eine neue, deutlich technische Stoßrichtung: Nicht mehr nur die Frage „wie leistungsfähig wird ein Modell“, sondern „wer oder was steuert die nächsten Iterationen der Forschung“. In einer Anhörung vor dem New-York-City Council positionierte sich Jacob Coxon als ehemaliger Capabilities-Researcher und formulierte dabei eine Sorge, die in der Sicherheitscommunity seit Jahren diskutiert wird: Sobald KI-Systeme eigene Forschungsarbeit übernehmen, verschiebt sich die Kontrollverantwortung. Coxon stellte den Mechanismus dabei als Fortschrittsketten dar, die sich selbst verstärken können, wenn Experimente, Code-Erzeugung und Bewertung immer stärker automatisiert ablaufen.
Im Kern ging es Coxon um die Automatisierung des Forschungsprozesses. Er sagte laut Bericht, dass das „automatisierte AI Research“ bei führenden „frontier“ Laboren zum „primary goal“ geworden sei. Besonders bemerkenswert ist die Zeitlichkeit, die er in den Raum stellte: Er verwies auf interne Meilensteine, die unter anderem etwa für 2027 und 2028 vorgesehen gewesen seien, und betonte, man liege „on track“ oder übertreffe diese Erwartungen. Solche Aussagen sind für Entscheider deshalb relevant, weil sie die Sicherheitsdiskussion von abstrakten Langfrist-Szenarien hin zu einem operativen Planungsproblem verschieben: Wenn der Übergang zur KI-gestützten Forschung in Monaten statt in Jahren stattfinden kann, müssen Prozesse zur Risikoerkennung und -verlangsamung ebenfalls in diesem Takt funktionieren.
Technisch betrachtet liegt der Knackpunkt weniger in einem einzelnen „magischen“ Modell als in der Verkopplung von Werkzeugen: KI generiert Code, erzeugt Varianten von Experimenten, schlägt Hypothesen vor und kann über wiederholte Schleifen Fortschritt ohne proportional wachsende menschliche Kontrolle liefern. Coxon beschrieb zudem eine konkrete Arbeitsrealität: Ein Großteil des heute geschriebenen Codes werde von KI erstellt; gleichzeitig würden Menschen den Code nicht mehr so sorgfältig prüfen, wie es nötig wäre. Genau diese Kombination aus beschleunigter Code-Produktion und abnehmender Review-Tiefe ist für die Systemauslegung zentral, weil kleine Fehler in Datenpipelines, Testabdeckung oder Modellbewertung in späteren Iterationen verstärkt auftreten können. Für Unternehmen bedeutet das: Sicherheitsanforderungen dürfen sich nicht nur auf das Endmodell beziehen, sondern müssen die gesamte Entwicklungspipeline einschließen.
Die Anhörung verknüpfte diese technologischen Punkte mit einem politisch-gesellschaftlichen Ziel: Innovation verantwortungsvoll zu gestalten. Zu Beginn machte der Sprecher des City Council deutlich, dass es nicht darum gehe, Innovation zu ersticken, sondern sie zu ermöglichen, ohne den Umgang mit Risiken zu vernachlässigen. In diesem Rahmen forderte Coxon mehr Transparenz von KI-Labs und eine verlangsamte Entwicklung besonders schnell voranschreitender Technologien. Sein Argument folgt dabei einer organisatorischen Beobachtung: Das „Startup“-Denkmuster „move fast, break things, fix them later“ funktioniere eher bei Anwendungen wie Content- oder Foto-Plattformen, jedoch nicht bei der Entwicklung „der mächtigsten Technologie“, die Menschen schaffen könnten.
Dass diese Debatte nicht isoliert bleibt, zeigt der zeitliche Kontext: Nach Coxons Rücktritt veröffentlichte der CEO von Anthropic, Dario Amodei, einen längeren Essay, in dem er ebenfalls zu einer Verlangsamung des Tempos bei der Verbesserung von KI-Modellen aufrief. Gleichzeitig meldete sich OpenAI-Chef Sam Altman mit einem Post zu Wort, in dem er eine gedrosselte „pace“ am „frontier“ unterstützte und das als Thema bestätigte, das bei OpenAI in den Wochen zuvor diskutiert worden sei. Für die Markt- und Ökosystemperspektive heißt das: Selbst die öffentlich abgestimmte Sprache über Tempo und Sicherheit entwickelt sich zu einem Wettbewerbselement. Wer Integrations- und Freigabeprozesse nachweislich schneller und zugleich sicherer organisiert, kann später nicht nur technische Vorteile haben, sondern auch regulatorische und gesellschaftliche Akzeptanz.
Offen bleibt allerdings, wie genau „Automatisierung von KI-Forschung“ operationalisiert wird und an welchen Stellen Menschen weiterhin wirksam eingreifen sollen. Coxons Aussage legt nahe, dass der Abstand zwischen Mensch und Entscheidungslogik kleiner wird, sobald KI-gestützte Forschung große Teile der Iterationsschleife übernimmt. Für Produktteams und Sicherheitsverantwortliche folgt daraus eine praktische Agenda: Erstens braucht es klare Leitplanken in der Toolchain, etwa über Review- und Testpflichten für von KI generierten Code, sowie nachvollziehbare Bewertungsmetriken. Zweitens müssen Organisationen die Gefahr von „out-of-loop“-Effekten ernst nehmen, also Situationen, in denen Menschen zwar noch beteiligt sind, aber nicht mehr die tatsächlichen Entscheidungen treffen. Drittens wird Transparenz nicht nur eine Frage von Berichten sein, sondern von Architekturentscheidungen, die Auditierbarkeit ermöglichen – gerade dann, wenn KI-gestützte Entwicklungsteams zunehmend selbstständig experimentieren.
Damit verschiebt sich der Fokus von „Modell-Schutz“ hin zu „Forschungs- und Entwicklungs-Schutz“. Wenn Automatisierung im Lab selbst zum Hauptziel wird, wird das Sicherheitsmodell eines Unternehmens zwangsläufig entlang der MLOps- und Plattformschichten gedacht werden müssen: Von Daten- und Experimentierpipelines über Evaluationssuite bis hin zu Deployment- und Monitoring-Prozessen. Coxons Warnung ist vor allem deshalb bedeutsam, weil sie eine zeitnahe Realität behauptet, in der menschliche Kontrolle relativ schneller abnimmt als viele Prozesse in Unternehmen bisher angenommen haben. In der nächsten Phase wird es weniger darum gehen, ob KI Fortschritt beschleunigt, sondern darum, ob Organisationen die Kontrollmechanismen so gestalten können, dass Geschwindigkeit nicht zur unkontrollierten Dynamik wird.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Automatisierte KI-Forschung: Warnung vor Kontrollverlust und Zeitplan" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Automatisierte KI-Forschung: Warnung vor Kontrollverlust und Zeitplan" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Automatisierte KI-Forschung: Warnung vor Kontrollverlust und Zeitplan« bei Google Deutschland suchen, bei Bing oder Google News!