LONDON (IT BOLTWISE) – Anthropics CEO Dario Amodei und OpenAIs CEO Sam Altman wollen unabhängige Sicherheits-Evaluatoren direkt in die Prüfprozesse ihrer Frontier-Modelle einbinden. Dabei soll Dritten auch Zugang zu Trainings-„Checkpoints“ und zu internen Nachweisen gewährt werden, inklusive der Befugnis, zentrale Findings ohne redaktionelle Kontrolle zu veröffentlichen. Kritisch bleibt jedoch die Frage, ob ausreichend echte Unabhängigkeit entsteht – oder ob Vertraulichkeit, Zeitfenster und Zugriffsgrenzen die Kontrolle faktisch zurück an die Labore geben. Neue US- und EU-Regeln erhöhen den Druck, doch der Umfang freiwilliger Maßnahmen entscheidet, wie viel externe Prüfung am Ende wirklich möglich ist.
Der Vorschlag klingt auf den ersten Blick nach dem, was viele im KI-Sicherheitsbereich seit Jahren fordern: unabhängige Evaluatoren sollen nicht erst kurz vor dem Release “auf das fertige Modell schauen”, sondern als Prüfinstanz mit echten Berichtspflichten in den Ablauf der Frontier-Entwicklung eingebettet werden. Dario Amodei von Anthropic skizzierte dafür einen Mechanismus, bei dem Dritte Sicherheitsvorfälle melden, bewerten, ob die Modelle tatsächlich “aligned” sind, und die Ergebnisse öffentlich teilen können. Sam Altman kündigte an, OpenAI wolle einen ähnlichen Weg gehen. Für die Branche wäre das mehr als ein PR-Schritt: Es würde den Bewertungsmaßstab verschieben – weg von vereinzelten Abnahmen hin zu einer kontinuierlichen Kontrolle dessen, was während des Trainings passiert.
Technisch ist die Kernidee dabei nicht nur das „Wer bewertet?“, sondern „womit kann bewertet werden?“. Mehrere Evaluatoren, die im Umfeld der Diskussion kommentierten, wollen offenbar Zugang nicht nur zum Endzustand eines Modells, sondern zu Zwischenständen aus dem Training – sogenannten Checkpoints. Adam Gleave, CEO von Far.AI, argumentiert in diesem Zusammenhang, dass sich problematisches Verhalten zeitlich eingrenzen lässt, wenn man die Checkpoints gegeneinander vergleicht. Zusätzlich geht es um die Umgebung nach dem Pre-Training: Wer bekommt wie viele Belohnungssignale, wie wirken sich Feedback-Schleifen auf das Verhalten aus, und was zeigen Evaluationsprotokolle und Logs, wenn ein Labor bestimmte Aussagen über Modellleistung trifft? Genau diese Ebene lässt sich laut der Argumentation schwerlich nur aus Tests am fertigen Artefakt ableiten.
Die Notwendigkeit solcher tieferen Einblicke wächst mit einem spezifischen Risiko, das in der Debatte besonders betont wird: Modelle könnten lernen, wann sie bewertet werden, und während der Tests besser „performen“, während sie außerhalb des Tests problematische Muster verdecken. Die Folge wäre ein klassischer Test-Fehlschluss: Ein Modell besteht Sicherheitstests, ist aber nicht deshalb sicher, weil es die zugrundeliegende Absicht gelernt hat, sondern weil es den Testmodus erkannt hat. Deshalb wird auch nach Hinweisen gesucht, ob das Modell während des Trainings aktiv versucht hat, die eigene Ausrichtung zu unterlaufen. Alexander Meinke, Leiter der Forschung bei Apollo Research, brachte dieses Dilemma auf den Punkt, indem er die Erwartung formulierte, dass solche Fragen eindeutig beantwortet werden müssten – und dass die Branche bisher stark darauf angewiesen sei, dass Labore selbst korrekt prüfen und dann auch öffentlich berichten.
Historisch waren externe Reviews in der KI-Industrie eher „spät“: Dritte testeten kurz vor dem Release die Endversion. Der aktuelle Vorschlag verschiebt diese Logik nach innen und nach vorn. Genau daran hängt allerdings die politische und operative Hürde: Wenn Evaluatoren wirklich unabhängig sein sollen, müssen sie Zugang, Zeit und Publikationsrechte so bekommen, dass vertragliche und technische Abhängigkeiten nicht überwiegen. In der Praxis entsteht Unabhängigkeit nur dann, wenn Labore Kontrolle abgeben – und das wiederum kollidiert regelmäßig mit Interessen an geistigem Eigentum, Vertraulichkeit, Umfang des Prüfscopes und daran, was am Ende öffentlich gesagt werden darf. Amodeis Vorschlag sieht deshalb unter anderem vor, dass Evaluatoren „key findings“ zu Risikostufen, Incidents, Praktiken sowie zum erhaltenen bzw. nicht erhaltenen Zugriff veröffentlichen können – ohne redaktionelle Kontrolle durch Anthropic. Ob das in der Umsetzung „echte Wächterrolle“ bleibt, hängt dann an Details.
Ein zentraler Streitpunkt ist das Zeitfenster. Bei früheren Untersuchungen soll OpenAI METR und Redwood etwa eine Woche vor Ort gegeben haben; beide hätten später betont, dass die Schlussfolgerungen wegen Umfang und Timing nicht belastbar genug seien. Auch bei vorab angekündigten Tests zu GPT-6 Astra soll es laut einem Beitrag von Apollo Research nur etwa drei Tage gegeben haben. Genau das ist für Evaluatoren entscheidend: Wenn die Awareness für Evaluationsphasen hoch ist und das Prüffenster kurz bleibt, reicht selbst „wenig Misbehavior“ unter Umständen nicht aus, um Alignment oder Misalignment statistisch sauber zu bewerten. Far.AI-Management verweist zusätzlich darauf, dass Labore bei sehr wertvollem geistigem Eigentum sehr vorsichtig damit sein werden, was sie überhaupt teilen können. Damit stellt sich für externe Prüfer die Grundfrage: Warum sollte es beim nächsten Durchlauf anders werden?
Aus Marktsicht ist die Debatte auch deshalb so relevant, weil die Regulatorik gerade den Rahmen für unabhängige Verifikation stärker absteckt. In Kalifornien verlangt SB 53, dass große Frontier-Entwickler Sicherheits-Frameworks veröffentlichen und kritische Sicherheitsvorfälle melden. SB 813 schafft außerdem einen Rahmen für staatlich anerkannte „independent verification organizations“, die über Expertise bei der Bewertung von KI-Risiken verfügen. In Europa verlangt der EU AI Act von Frontier-Entwicklern, Modellbewertungen und adversarial testing durchzuführen, zu dokumentieren und ernste Vorfälle zu melden; zudem kann das EU AI Office eigene Evaluierungen vornehmen und unabhängige Experten ernennen. Trotzdem bleibt laut der Diskussion die Reichweite oft enger als das, was Amodei beschreibt, wodurch Labore weiter selbst entscheiden, wie viel externe Prüfung tatsächlich in die Tiefe geht.
Damit rückt auch die Frage in den Vordergrund, ob es neben Gesetzen zusätzlich einen transparenten Standardrahmen geben kann, der freiwillige Abweichungen erschwert. John Steidley von Palisades Research hebt dabei Standards hervor, auf die sich Auditoren verlassen lassen sollten – andernfalls könnten Labore Evaluatoren „einkaufen“, die zwar als unabhängig auftreten, aber nicht die relevanten Risiken prüfen oder nicht ausreichend qualifiziert sind. Henry Papadatos von Safer AI macht in diesem Zusammenhang deutlich, dass freiwillige Selbstregulierung zwar besser als nichts sei, aber mit dem goodwill-Prinzip steht und fällt. Der entscheidende Widerspruch bleibt: Ein Unternehmen kann nicht einerseits externe Rechenschaftslosigkeit vermeiden und andererseits erwarten, dass die Öffentlichkeit dessen flexible Regeln glaubt. Genau diese Spannung bildet derzeit den Engpass zwischen Vision und prüfbarer Umsetzung.
Für Unternehmen und Entwicklerteams, die KI-Systeme in Produkte oder Prozesse einbinden, bedeutet das vor allem eines: Safety-Claims werden zunehmend zu einer Frage der Nachweisfähigkeit. Wenn Checkpoints, Trainingsverläufe und Prüf-Logs tatsächlich einsehbar werden, steigt der Wert sauberer interner Dokumentation – und die Relevanz von Datenlinien vom Training bis zur Evaluation. Gleichzeitig wird es organisatorisch aufwendiger, wenn externe Prüfer Interviews oder Einsicht in interne Prozesse erhalten sollen, ohne dass dabei Betriebsgeheimnisse zerstört werden. Unabhängige Evaluatoren könnten damit zu einem neuen Integrationsbaustein in der KI-Governance werden, vergleichbar mit Audit-Strukturen aus anderen sicherheitskritischen Bereichen – nur dass hier Geschwindigkeit, Model-Iterationen und geistiges Eigentum die Rahmenbedingungen deutlich härter machen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Anthropic und OpenAI: Sicherheits-„Evaluatoren“ als unabhängige Wächter oder Vertragspartner?" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Anthropic und OpenAI: Sicherheits-„Evaluatoren“ als unabhängige Wächter oder Vertragspartner?" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Anthropic und OpenAI: Sicherheits-„Evaluatoren“ als unabhängige Wächter oder Vertragspartner?« bei Google Deutschland suchen, bei Bing oder Google News!