NEW YORK / LONDON (IT BOLTWISE) – OpenAI- und Anthropic-Chefs haben vor dem Sicherheitsrat der Vereinten Nationen vor den Risiken einer unkontrollierten KI-Weiterentwicklung gewarnt. Sam Altman betonte, dass schon ein kleines Katastrophenrisiko angesichts möglicher Systemeskalationen nicht als akzeptabel gilt. Dario Amodei kündigte an, die Einführungs- und Entwicklungszyklen künftiger Modelle im Zweifel zu verlangsamen, um Sicherheitsnachweise zu schließen. Auf der Sitzung standen zudem Forderungen nach Verifikationssystemen, einem weltweiten Meldewesen und einem internationalen Verbot KI-gestützter Biowaffen im Mittelpunkt.
Vor dem Sicherheitsrat der Vereinten Nationen wurde KI nicht als abstraktes Zukunftsthema verhandelt, sondern als Governance-Problem mit unmittelbarer Zeitachse. In New York traten die Spitzen von OpenAI und Anthropic auf und lenkten die Debatte auf zwei Risiken, die sich gegenseitig verstärken können: der potenzielle Kontrollverlust über künftige Systeme und eine Machtkonzentration, bei der wenige Akteure über sehr leistungsfähige Modelle verfügen. Der konkrete Rahmen war dabei bewusst politisch gewählt: Die Sitzung des 15-köpfigen UN-Gremiums unter Leitung des französischen Außenministers Jean-Noël Barrot drehte sich erstmals ausschließlich um die Frage, was geschieht, wenn Menschen die Kontrolle über Technologie verlieren, die sie selbst geschaffen haben.
Sam Altman stellte in seinem Beitrag vor den UN-Vertretern vor allem den Zeitaspekt in den Mittelpunkt. Er argumentierte, dass die gegenwärtige Phase extreme Vorsicht erfordere, weil sich Fortschrittsschübe technologisch schnell beschleunigen könnten. Gleichzeitig warnte er davor, Risiken allein deshalb zu relativieren, weil die möglichen Vorteile groß sind. Für Altman ergibt sich daraus kein Entweder-oder zwischen blinder Euphorie und fatalistischem Untergangsdenken, sondern ein pragmatischer Mittelweg: Entscheidungen müssten so gestaltet werden, dass sich Kontrollmechanismen nicht nur im Labor, sondern auch unter realen Betriebsbedingungen bewähren.
Technisch betrachtet zielt die von Altman skizzierte Gefahr auf zwei Engstellen im Lebenszyklus leistungsfähiger KI-Systeme. Erstens kann ein System schneller „handeln“, als menschliche Akteure sinnvoll eingreifen können; dann wird Governance zur Frage von Latenz, Abschaltbarkeit und dem Umfang, in dem Automatisierung im Produktivbetrieb dominiert. Zweitens betont er die Problematik der Konzentration: Wenn nur einzelne Organisationen oder Staaten sehr mächtige Modelle nutzen, steigt das Risiko, dass solche Modelle als Hebel für ideologische Durchsetzung missbraucht werden. Altman nannte zudem die rekursive Selbstverbesserung als zusätzlichen Risikokreis, weil Feedback-Loops die Entwicklungsrichtung schwerer vorhersagbar machen können.
Auch Dario Amodei von Anthropic machte die Verantwortungsebene stärker operational: Ein schlechtes Krisenmanagement bei hochentwickelten Systemen könne nach seinen Angaben die gesamte Menschheit gefährden. In seiner Argumentation klang dabei eine Art Sicherheits-Timing an: Er hielt für möglich, dass hochgradig intelligente Netzwerke in Rechenzentren bereits innerhalb von ein bis zwei Jahren denkbar seien. Daraus leitete er die Zusage ab, die Einführung künftiger Modelle so weit wie nötig zu verzögern, um „lückenlose Sicherheitsnachweise“ liefern zu können. Anders als reine Appelle zielt dieser Ansatz auf konkrete, prüfbare Nachweise ab – also auf das, was in der Praxis häufig der Engpass ist, sobald Unternehmen zwischen Produktfahrplänen und belastbaren Tests abwägen müssen.
Amodei forderte außerdem mehrere Maßnahmen, die weit über interne Sicherheitsprozesse hinausgehen. Genannt wurde unter anderem ein internationales Verbot KI-gestützter Biowaffen sowie die Etablierung verbindlicher Test- und Verifikationssysteme. Zusätzlich sprach er sich für ein weltweites Meldesystem für Vorfälle aus, damit Probleme nicht in einzelnen Organisationen „verschwinden“, sondern als Muster für Risikoanalysen nutzbar werden. Parallel dazu müssten unabhängige Sicherheitsbewertungen und völkerrechtliche Vereinbarungen sicherstellen, dass gefährliche Fähigkeiten vor einer Markteinführung verlässlich identifiziert werden. Gerade diese Mischung aus Verbot, Prüfrahmen und Reporting ist für Unternehmen relevant, weil sie die Anforderungen an Dokumentation, Testabdeckung und Nachweisführung verschiebt – vom internen „Wir glauben, dass es sicher ist“ hin zu einem extern prüfbaren „Wir haben es so nachgewiesen“.
Während die Konferenz auf globaler Ebene nach Regeln suchte, kam aus der Forschung und der Open-Source-Ecke ein anderer Schwerpunkt. Clement Delangue von Hugging Face machte sich für frei zugängliche Quellcodes stark und argumentierte damit, dass die Weltgemeinschaft Open-Source-Ansätze brauche. Das steht in einem Spannungsverhältnis zu rein kontrollbasierten Zugangsmodellen, kann aber auch als Sicherheitsstrategie verstanden werden: Mehr Transparenz kann helfen, Systeme schneller zu prüfen und Schwachstellen offenzulegen. Zugleich betonte Yoshua Bengio als Co-Vorsitzender des wissenschaftlichen UN-Panels für KI (2025 durch die Generalversammlung initiiert) die Bedeutung strikter menschlicher Kontrolle; er ordnete zudem die Idee einer unregulierten rekursiven Selbstverbesserung als Rezept für eine Selbstauslöschung ein. Bengio wies außerdem eine Darstellung zurück, wonach Bedenken gegen KI zuvor als Täuschung abgetan worden seien – ein Hinweis darauf, dass auch die politische Kommunikation über KI-Risiken selbst Teil der Sicherheitsarchitektur ist.
Für die Praxis ergibt sich aus der UN-Debatte ein klarer Impuls: Unternehmen müssen Sicherheitsanforderungen nicht erst nach formalen Abstimmungen erfüllen, sondern bereits jetzt in ihren Entwicklungs- und Dokumentationsroutinen abbilden. In der Quelle wird ausdrücklich darauf verwiesen, dass Unternehmen heute konkrete Erwartungen an Risikoklassen und Dokumentationen erfüllen müssen; damit wird der Brückenschlag zur europäischen Regulierung sichtbar, etwa zur EU-KI-Verordnung, die in der Kommunikation als Leitplanke für Fristen und Pflichten beschrieben wird. Inhaltlich lässt sich das auf den Kern übersetzen: Wenn Einführung und Betrieb so geplant werden, dass Prüf- und Verifikationsschritte belastbar sind, wird Governance nicht zur nachträglichen „Compliance-Schicht“, sondern zum Bestandteil von Engineering und Produktentscheidungen. Genau hier dürfte der Druck aus der internationalen Debatte in den nächsten Monaten steigen – weniger als symbolisches Gipfeltreffen, mehr als Erwartung an messbare Sicherheitsnachweise, abgestimmte Testsysteme und einen internationalen Umgang mit Vorfällen.
Gleichzeitig zeigt die Diskussion, wie unterschiedlich die Lösungswege sein können, ohne dass das Sicherheitsziel verloren geht. Open-Source-Orientierung kann die Prüfbereitschaft erhöhen; Verzögerungen bei der Einführung können Zeit für Verifikationsarbeit schaffen; internationale Verbote und Reporting reduzieren die Wahrscheinlichkeit, dass sich Risiken über Grenzen hinweg unbemerkt ausbreiten. Für Entscheider bedeutet das: KI-Sicherheit ist nicht nur ein Thema für Forschungsteams, sondern betrifft Beschaffung, Produktplanung, Incident-Response und die Frage, welche Rollen Menschen in kritischen Schleifen tatsächlich kontrollieren können. Die Sitzung hat damit weniger eine fertige technische Antwort geliefert als ein gemeinsames Problemprofil – und damit die Grundlage, um die nächste Runde an Standards, Tests und Nachweisverfahren zu konkretisieren.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "OpenAI und Anthropic warnen vor Kontrollverlust und fordern UN-Checks für KI" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "OpenAI und Anthropic warnen vor Kontrollverlust und fordern UN-Checks für KI" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »OpenAI und Anthropic warnen vor Kontrollverlust und fordern UN-Checks für KI« bei Google Deutschland suchen, bei Bing oder Google News!