NEW YORK / LONDON (IT BOLTWISE) – KI-Insider warnen in einer Anhörung vor den Risiken extrem leistungsfähiger Systeme. Vertreter von OpenAI, Anthropic und Google DeepMind diskutierten dabei konkrete Sicherheitsanforderungen und die Frage nach der Risikoberechnung. Jacob Coxon fordert mehr Transparenz und Schutzmechanismen statt eines „Startup-Mindsets“. Der City Council erwägt zudem Regeln zu Offenlegung, externer Prüfung und Anreizen für Hinweisgeber.
In New York kulminiert die KI-Sicherheitsdebatte gerade an einem Punkt, an dem Technik, Governance und Unternehmensstrategie unmittelbar aufeinandertreffen: In einer Anhörung des New York City Council haben KI-Insider und Unternehmensvertreter die Frage gestellt, wie sich Risiken bei Hochrisiko-Systemen praktisch beherrschen lassen. Der Tenor der Warnseite war dabei deutlich, weil lokale Behörden bereits erste Schritte in Richtung Aufsicht unternehmen, während auf Bundesebene bislang keine durchgreifenden Standards geschaffen wurden. Dass die Diskussion im Rathauskontext stattfindet, ist mehr als Symbolpolitik: Für Anbieter heißt das, dass Prozesse wie Modellfreigaben, Dokumentation und unabhängige Prüfungen in den Alltag der Produktentwicklung rücken können.
Jacob Coxon, ein ehemaliger Engineer bei Anthropic, argumentierte in seinem Beitrag mit einem Kulturthema, das in KI-Organisationen tatsächlich oft wirkt: schnelle Iterationen bei zugleich wachsenden Systemfähigkeiten. Er verwies dabei auf seine Kritik an einem „startup mindset“ und zielt auf die Lücke zwischen Geschwindigkeit im Produktzyklus und Beherrschbarkeit auf Systemebene. Wörtlich sagte Coxon: „The companies run on a startup mindset: Move fast, break things, fix them later. That works for a photo sharing app. It does not work for building the most powerful technology ever built, “ und forderte damit indirekt, Sicherheitsarbeit als integralen Bestandteil des Engineerings zu verankern. In technischer Hinsicht lässt sich das als Forderung nach belastbaren Kontrollen interpretieren: von abgesicherten Bereitstellungsprozessen (Deployment), über systematische Tests gegen problematische Verhaltensweisen, bis hin zu klaren Mechanismen für Eingrenzung und Rückbau, falls Grenzwerte überschritten werden.
Auf der Gegenseite beschrieben mehrere Unternehmensmitarbeiter KI als bereits nützliches Werkzeug im Alltag und stellten Sicherheit als zentrales Entwicklungsziel dar. Morgan Dwyer von OpenAI erklärte: „I share your commitment to ensuring that technology is developed safely and that its benefits are widely shared, “ und betonte den Sicherheitsfokus der Organisation. Die anschließende Gegenüberstellung mit Blick auf Risikozahlen machte jedoch sichtbar, wie unterschiedlich Sicherheitslogiken interpretiert werden können. Als Julie Menin, Sprecherin des City Council, die Vertreter bat, das Risiko im schlimmsten katastrophalen Szenario zu quantifizieren, antwortete Dwyer: „I don’t know – I also don’t think it matters whether it’s 1% or 10% or 20% chance that something catastrophic will go wrong. None of these levels is remotely acceptable. We should not train models that we cannot make an extremely strong case that we can keep under human control.“ Menin bezeichnete diese Reaktion anschließend als „flippant at best.“ In der Praxis prallen hier zwei Sichtweisen aufeinander: probabilistische Risikomodelle, die auf Häufigkeiten beruhen, versus Sicherheitsansätze, die auf „Kontrollierbarkeit“ und Nachweisstärke bei hoher Schadenserwartung fokussieren.
Die Debatte spiegelt zudem den Markt- und Politikrahmen wider, in dem KI heute entsteht. Im Text wird beschrieben, dass der Trump-Regierung zufolge vergleichsweise passives Vorgehen stattfindet und zugleich eine Vereinbarung unterzeichnet wurde, die in weiten Teilen Selbstregulierung ermöglicht. Damit verschiebt sich der Druck auf lokale Ebenen: Wenn nationale Standards fehlen oder verzögert werden, beginnen Städte und Bundesstaaten, eigene Transparenz- und Prüfmechanismen zu diskutieren. Das erklärt auch, warum „Oversight“ nicht abstrakt bleibt. Für Unternehmen bedeutet das, dass sie in mehreren Jurisdiktionen unterschiedliche Nachweispfade benötigen könnten – etwa für Dokumentation, Konformitätsnachweise und die Frage, wann ein System „freigabereif“ ist. Gerade bei KI-Systemen, die nicht nur klassische Softwarefeatures abbilden, sondern Verhalten aus Daten und Modellgewichten ableiten, ist dieser Mehraufwand organisatorisch und technisch anspruchsvoll.
Der City Council prüft laut den Ausführungen in der Anhörung mehrere konkrete Regulierungsrichtungen. Dazu zählen Vorschläge, wonach Anbieter Informationen über KI-Tools offenlegen müssen, außerdem eine Art Drittfreigabe bzw. externe Genehmigung für KI-Systeme in der Stadt. Zusätzlich steht ein Modell im Raum, das Hinweisgebern eine Beteiligung an verhängten Geldbußen in Aussicht stellt, wenn Anbieter gegen geltendes Recht verstoßen. Parallel dazu wird erwähnt, dass auch New Yorks Gouverneurin Kathy Hochul Berichts- und Transparenzstandards umsetzen möchte und ähnliche Schritte in anderen US-Bundesstaaten geprüft oder begonnen wurden. Technisch betrachtet hängt die Umsetzbarkeit solcher Ansätze stark davon ab, welche Daten die Unternehmen liefern können: etwa Beschreibungen zu Trainings- und Evaluationsverfahren, Sicherheits-Tests, bekannte Schwachstellen und die Art, wie Systeme im Betrieb beobachtet werden.
Aus Sicht der KI-Entwicklung führt das zu einer Verschiebung, die viele Teams bereits kennen: Sicherheitsarbeit wird zunehmend zu einem Lifecycle-Thema statt zu einem abschließenden Gate kurz vor dem Launch. Wenn externe Stellen Transparenz verlangen und Drittprüfungen vorschlagen, wird die Qualität der internen Artefakte entscheidend – also Reproduzierbarkeit von Testergebnissen, nachvollziehbare Modell- und Policy-Logs, sowie klare Prozesse für Incident-Handling. Auch das „Worst-Case“-Argument aus der Anhörung wirkt hier hinein: Selbst wenn einzelne Teams Wahrscheinlichkeiten nicht sauber angeben können, muss die Organisation zeigen können, warum sie dennoch verhindern will, dass katastrophale Situationen eskalieren. Genau deshalb wird in solchen Debatten häufig zwischen „Fehlerquoten“ und „Kontrollierbarkeits-Nachweis“ unterschieden.
Für Unternehmen und Entwickler in der Praxis ist entscheidend, dass Regulierung in Städten oft schneller greift als auf nationaler Ebene – und damit Compliance zu einer Vorstufe von Produktstrategie wird. Wer KI-Modelle in den Markt bringt, muss dann nicht nur die Modellleistung verbessern, sondern auch die Sicherheitsdokumentation so strukturieren, dass sie in Audits verständlich ist. Gleichzeitig bleibt die politische Dynamik vorerst offen: Die Anhörung macht zwar die Konfliktlinien sichtbar, doch wie weit die geplanten Regeln tatsächlich reichen, hängt vom weiteren Gesetzgebungsprozess ab. Fest steht allerdings, dass die Sicherheitsdebatte in New York das Thema „KI beherrschbar machen“ in eine konkrete Umsetzungsfrage übersetzt – und damit die technische Exekution, von Testpipelines bis zu Freigabemechanismen, direkt unter Aufsicht stellt.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI-Sicherheitsdebatte in New York: Insider fordern mehr Regulierung" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI-Sicherheitsdebatte in New York: Insider fordern mehr Regulierung" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI-Sicherheitsdebatte in New York: Insider fordern mehr Regulierung« bei Google Deutschland suchen, bei Bing oder Google News!