LONDON (IT BOLTWISE) – Anthropics CEO Dario Amodei will die Entwicklung großer KI-Systeme mit einem neuen Aufsichtsmodell bremsen. Dafür setzt er auf „embedded third-party evaluators“, die nach seinem Vorschlag internen Zugriff erhalten, um Sicherheit, Training und Prozesse zu prüfen. Kritiker sehen darin weniger Unabhängigkeit als vielmehr eine Nähe zu Effective Altruism und zu Personen, die mit dem Umfeld von Anthropic verknüpft sind. Gleichzeitig signalisieren US-Politik und Wettbewerbsbehörden Skepsis gegenüber Selbstregulierung und möglicher Sonderstellung.
Im Streit um KI-Sicherheit verschiebt sich das Narrativ von „Stoppen oder Beschleunigen“ hin zu „wie lässt sich Kontrolle überhaupt technisch und organisatorisch bauen“. Ausgangspunkt ist ein Vorschlag von Anthropics CEO Dario Amodei, der unter dem Titel „We Must Pace the Frontier“ für ein gestaffeltes Tempo bei der Entwicklung leistungsfähiger Modelle wirbt. Im Kern geht es nicht nur um technische Sicherheitschecks vor dem Deployment, sondern um eine Form von externer Prüfung, die so tief in die Lieferkette der Modellentwicklung hineinreicht, dass Prüfer auch Trainingspipelines und interne Sicherheitsprozesse bewerten können.
Technisch beschreibt Amodei dafür ein Konzept, das wie „nukleare Inspektionslogik“ in die KI-Entwicklung übersetzt wird: sogenannte embedded third-party evaluators sollen „employee-like access“ erhalten, um die Einhaltung von Sicherheitszusagen zu verifizieren und Vorfälle zu melden. In seinem Argumentationsrahmen soll das nicht auf die Betrachtung eines fertig trainierten Modells beschränkt bleiben, sondern auch die Phase davor abdecken, also Datenflüsse, Trainingsabläufe und die Mechanik der Alignment- bzw. Safety-Workflows. Aus Unternehmenssicht ist das ein erheblicher Eingriff: Wer Prüfungen mit internem Zugriff verlangt, muss entscheiden, welche Telemetriedaten, Logs und ggf. auch experimentelle Artefakte außerhalb des eigenen Teams geteilt werden dürfen – und wie dabei Vertraulichkeit, IP und Sicherheitsinteressen gegeneinander abgewogen werden.
Genau hier setzen die Kritikpunkte an. Das von Amodei genannte Setup heißt METR (Model Evaluation and Threat Research) und soll laut Befürwortern als nonprofit und mit weiten Befugnissen auftreten. Kritische Stimmen verweisen jedoch auf eine dichte institutionelle Verflechtung mit dem Umfeld von Effective Altruism (EA): METR wird in der Darstellung mit einer Spin-off-Historie aus einem mit EA ausgerichteten Inkubator verknüpft, an dessen Spitze ein bekanntes KI-Forschungsprofil steht. Zudem wird beschrieben, dass mehrere Personen in einer ähnlichen Forschungs- und Förderlandschaft gearbeitet haben, darunter Rollen wie Chief Scientist und weitere Mitarbeitende, die aus demselben akademischen Cluster stammen sollen. Die eigentliche Debatte dreht sich dabei weniger um individuelle Kompetenz als um Interessenkonflikte: Wenn Prüfer organisatorisch aus derselben Welt kommen wie die Unternehmen, die sie kontrollieren sollen, entsteht ein Vertrauensproblem – selbst dann, wenn formale Regeln zu Disclosure und „Firewalls“ existieren.
Dass METR laut eigener Darstellung Interessenkonflikte offengelegt sehen will, adressiert dieses Problem teilweise, löst es in der politischen Kommunikation aber kaum. In der Quelle wird ein METR-Sprecher zitiert, der betont, die Mitarbeitenden hätten unterschiedliche ideologische Perspektiven, Disclosure sei verpflichtend, und es werde weder Geld von KI-Unternehmen noch aus deren Mitarbeiterschaft akzeptiert. Gleichzeitig wird auf öffentlich angegebene Förderströme verwiesen: METR habe demnach in einem Zeitraum von sechs Monaten neues Kapital in zweistelliger Millionenhöhe einsammeln können, zudem seien über EA-nahen Stiftungen Mittel in die Organisation geflossen. Bei solchen Zahlen verschiebt sich die Frage von „Gibt es externe Prüfer?“ zu „Wer finanziert die Prüfer und damit die Agenda indirekt?“. Kritiker greifen das als Beispiel für eine praktisch schwer prüfbare Unabhängigkeit auf und argumentieren, dass man sich in einem solchen Modell gegenseitig auditieren lasse, statt echte Gegengewichte zu schaffen.
Die politische Reaktion im Hintergrund wirkt deshalb wie ein zusätzlicher Bremsklotz. In den USA pflegt die aktuelle Administration nach der Darstellung seit Monaten ein angespanntes Verhältnis zu Anthropic und steht Themen wie KI-Katastrophenszenarien skeptisch gegenüber; zugleich wird in der Quelle die Rolle von Wettbewerbs- und Datenschutzlogiken angesprochen. Auf regulatorischer Ebene fällt besonders auf, dass die Diskussion nicht nur über „Sicherheit“ geführt wird, sondern auch über die Frage, ob KI-Unternehmen sich untereinander koordinieren dürften, etwa durch eine Branchenlösung mit Sonderzugang zu Behörden oder durch eine Art Selbstregulierung. Ein Warnsignal kommt außerdem von der Wettbewerbsseite: Wenn Unternehmen gleichzeitig um Regeln und um antitrust-bezogene Erleichterungen bitten, läuten laut der Quelle bei der zuständigen Behörde Alarmglocken. Das ist aus Marktsicht relevant, weil ein Modell wie METR, selbst wenn es technisch überzeugend wäre, mit dem Risiko kollidiert, als Scharnier für industrieinterne Absprachen gelesen zu werden.
Unabhängig von der politischen Durchsetzungskraft bleibt die sachliche technische Frage offen, wie „pacing“ und „inspected training“ konkret operationalisiert werden können. Amodeis Ansatz zielt darauf, dass Safety nicht als einmaliger Gate-Keeper nach dem Training existiert, sondern als kontinuierliche Praxis entlang der Pipeline. Damit rückt auch das Problem in den Fokus, das viele große KI-Labs im Tagesgeschäft kennen: Sicherheitsarbeit ist prozess- und datenintensiv, während die größte Gefahr oft aus ungeprüften Übergängen entsteht – etwa wenn neue Trainingsdatensätze, neue Modellvarianten oder neue Inference-Setups die zuvor geschaffenen Grenzen verschieben. Externe Evaluatoren mit internem Zugriff könnten genau diese Übergänge sichtbar machen. Gleichzeitig steigt aber mit der Tiefe des Zugriffs das Risiko, dass die Evaluierung selbst zum Engpass wird oder Sicherheitsentscheidungen durch Drittparteizugriff verlangsamt werden.
Für Unternehmen und Entwickler ergibt sich daraus eine klare Lehre: KI-Governance wird zunehmend zu einer Frage der technischen Auditierbarkeit. Ob METR am Ende als Modell taugt, hängt weniger an der Idee unabhängiger Kontrolle als an der praktischen Umsetzung von Zugriff, Datensparsamkeit und Verifikationsmethoden. Dazu kommt die „Social Layer“: Wer Prüfungen durchführt, braucht nicht nur juristische und organisatorische Trennung, sondern auch eine glaubwürdige externe Validierung, etwa über transparente Reports, klar definierte Konfliktschwelldefinitionen und eine nachvollziehbare Auswahl von Evaluierungsfällen. Wenn das gelingt, könnte Amodeis „pacing“-Gedanke einen wettbewerblichen Rahmen erzeugen, in dem Sicherheit nicht nur intern optimiert, sondern auch extern prüfbar wird.
Unklar bleibt vorerst, ob diese Form von Drittprüfern in den kommenden Monaten regulatorisch akzeptiert wird oder ob die Debatte in Richtung „Standardisierung durch Behörden“ kippt. In der Quelle wird zudem berichtet, dass ein Anthropic-Forscher nach Warnungen über unzureichende Aufsicht das Unternehmen abrupt verlassen habe; das unterstreicht, dass Safety-Fragen nicht ausschließlich in öffentlich geführten Essays entschieden werden. Für Entscheider ist das die wichtigste Konsequenz: Wer KI-Entwicklung steuert, sollte bereits heute prüfen, wie auditfähige Nachweise über Trainings- und Sicherheitsprozesse aussehen können, bevor ein Prüfmodell wie METR als politisch oder kartellrechtlich streitiges Thema auf die Tagesordnung kommt.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Anthropic will KI „pacing“: METR als unabhängige Prüfer mit Lobby-Schatten" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Anthropic will KI „pacing“: METR als unabhängige Prüfer mit Lobby-Schatten" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Anthropic will KI „pacing“: METR als unabhängige Prüfer mit Lobby-Schatten« bei Google Deutschland suchen, bei Bing oder Google News!