LONDON (IT BOLTWISE) – Anthropic weitet die unabhängige Überprüfung seiner KI-Modelle aus und startet eine Embedded-Evaluierung mit METR. Das Team erhält dafür „employee-like access“ zu internen Tools und Systemen – mit klaren Ausschlusskategorien wie Kundendaten und anwaltlichem Vertraulichkeitsmaterial. METR soll seine Risikoanalysen veröffentlichen; Anthropic kann nur in eng definierten Fällen redaktionell eingreifen. Zusätzlich arbeitet das Unternehmen in mehreren Einstiegs- und Ausbaustufen mit weiteren Evaluatoren wie SecureBio sowie mit Partnern für Red-Teaming und Alignment-Tests.
Anthropic zieht die Konsequenz aus der wachsenden Leistungsfähigkeit seiner Modelle: Wenn KI-Systeme näher an „frontier“ heranrücken, reichen interne Tests und Sicherheitsgremien allein oft nicht mehr, um Risiken glaubwürdig und nachvollziehbar einzuordnen. Der aktuelle Schritt setzt genau an dieser Lücke an, denn das Unternehmen startet eine eng eingebettete Zusammenarbeit mit der Non-Profit-Organisation METR, die fortgeschrittene KI-Modelle bewertet und Risikoanalysen veröffentlicht. Im Kern geht es dabei um den Versuch, externe Prüfer so zu positionieren, dass sie nicht nur einzelne Ergebnisse sehen, sondern die Plausibilität der Sicherheitsbewertung bis in die Begründung hinein prüfen können.
Technisch beschreibt Anthropic das Modell der Zusammenarbeit als „employee-like access“. Sechs METR-Mitarbeitende werden mit Unternehmenshardware, Büroräumlichkeiten und Zugriff auf interne Tools und Systeme ausgestattet, die in Umfang und Tiefe ungefähr dem entsprechen, was die eigenen Teams für Risikobewertungen nutzen. Gleichzeitig definiert das Unternehmen wenige, klar abgegrenzte Kategorien, bei denen ein Zugriff außerhalb dieser Bereiche bewusst eingeschränkt bleibt, etwa Informationen über Kunden, materiell geschütztes anwaltliches Vertraulichkeitsmaterial oder bestimmte Details zu Modellarchitekturen. Entscheidend ist dabei das Zusammenspiel aus Informationsfreigabe und Publikationsrechten: METR soll eigene Analysen zu Risiko-Niveaus, Vorfällen oder Praktiken veröffentlichen, während Anthropic eine Veröffentlichung nicht verhindern kann.
Damit verschiebt sich die Verantwortung für die öffentliche Rechenschaft auf eine Ebene, die in der Sicherheitsforschung häufig schwierig ist: Unternehmen verfügen naturgemäß über mehr Kontext als externe Prüforganisationen, können aber nicht beliebige interne Details teilen, ohne entweder Missbrauch zu erleichtern oder sensible Wettbewerbs- bzw. Betriebsinformationen offenzulegen. Anthropic benennt deshalb einen strukturierten Ansatz, bei dem Evaluatoren Belege und begründete Schlussfolgerungen zu den Risiken liefern sollen, die mit dem Bau und Betrieb der Modelle verbunden sind. Das klingt nach „Transparenz durch Zugriff“, ist aber in der Ausprägung eher „Transparenz durch kontrollierte Evidenz“: Die Prüfer bekommen genug Einblick, um etwa die Robustheit von Safeguards und die Art der Modellentwicklung bewerten zu können, aber sie sollen zugleich einen Rahmen erhalten, in dem Publikationen möglich bleiben, ohne dass sicherheitsrelevante Schwachstellen im Detail ausnutzbar werden.
Wie genau solche Evaluationsarbeit funktionieren soll, leitet Anthropic über einen Analogieschritt aus der Bankenaufsicht ab: Banken wissen über ihre eigenen Risikopositionen mehr als Außenstehende, deshalb arbeiten Aufsichtsstellen mit „resident examiners“ im Unternehmen, um potenziell systemgefährdende Risiken frühzeitig sichtbar zu machen. Für den KI-Bereich überträgt das Unternehmen diese Logik, allerdings ohne die Risiken 1:1 gleichzusetzen. Stattdessen argumentiert es, dass ein Schritt zu belastbarerem Sicherheits-„Oversight“ nötig sei, weil Evaluationen bei leistungsfähigen Modellen in der Praxis auch schiefgehen können – etwa durch Alignment-Faking, also eine oberflächliche Erfüllung von Sicherheitskriterien, die tiefergehende Fehlverhalten verdeckt. Aus Unternehmenssicht entsteht so eine Lücke, die ein Embedded-Ansatz schließen soll: Evaluatoren sollen das Verständnis einer Frontier-KI-Firma für ihre eigenen Systeme enger aneinanderführen.
Neben METR beschreibt Anthropic weitere Partnerschaften, die aber in ihrer Reife unterschiedlich sind. Für frühe Engagements erhalten Evaluatoren zunächst nur begrenzte Informationen und haben entsprechend eingeschränkte Rechte zur Veröffentlichung; Ziel sei, dass Vertraulichkeitsschutz und technische Ressourcen auf beiden Seiten stimmen. Mit fortschreitendem Vertrauen strebt das Unternehmen an, Evaluatoren umfassender einzubinden und die „tiers of access“ auszuweiten. Formal skizziert Anthropic drei Zugriffsstufen: In Tier 1 führen Prüfer eng begrenzte Risikoermittlungen durch, und Anthropic entscheidet über den Umfang des Zugriffs sowie über die Freigabe der Veröffentlichung. In Tier 2 können Evaluatoren ohne vorherige Zustimmung veröffentlichen, bekommen dafür mehr Daten, dürfen aber weiterhin bestimmte Informationskategorien redaktionell anpassen lassen, während sie gleichzeitig bewerten können, ob diese Redaktionen ihrer Ansicht nach gerechtfertigt sind. Tier 3 entspricht der beschriebenen METR-Architektur mit employee-like access und Publikationsrechten ähnlich zu Tier 2, jedoch mit klaren, engen Ausschlussbereichen.
Konkreter wird das Paket auch in der Einordnung einzelner Partner: SecureBio arbeitet aktuell in Tier 1 und prüft laut Angaben den chemischen und biologischen Waffenabschnitt des August Risk Reports, nachdem ein Pilot-Review des vorherigen Risk Reports abgeschlossen und publiziert wurde. Anthropic kündigt an, nach Abschluss dieser Prüfung über Projekte mit erhöhtem Zugriff und stärkeren Publikationsrechten nachzudenken. Bei Accenture und Faculty geht es um eine breitere, teils anspruchsvolle Aufgabenmischung aus Evaluierung und Red-Teaming, Alignment-Assessments, Safeguards-Tests sowie Fähigkeitsaufbau auf beiden Seiten. Das ist insofern bemerkenswert, als solche Aktivitäten im KI-Kontext typischerweise eine enge Kopplung zwischen Modellverhalten, Testmethodik und internen Sicherheitsannahmen benötigen – und gerade deshalb die Wahl der Evaluationsarchitektur (Embedded statt rein extern, abgestufte Veröffentlichungsrechte statt „alles oder nichts“) für Unternehmen organisatorisch und rechtlich relevant wird.
Für die Markt- und Branchendynamik bedeutet das: Anthropic versucht, sich nicht nur als „kooperativ“ zu positionieren, sondern auch als methodisch strukturiert. Indem das Unternehmen Publikationsrechte nicht vollständig an sich bindet, verschiebt es die Qualitätssicherung stärker in Richtung externer Evidenzbewertung; zugleich behält es über definierte Redaktionskategorien die Kontrolle über sehr schützenswerte Inhalte. Für andere Akteure in der KI-Entwicklung ist das ein Signal, dass „robuste Sicherheitsaufsicht“ zunehmend als Prozess verstanden wird, nicht als einmalige Prüfung vor dem Deployment. Gerade für Organisationen, die KI in geschäftskritischen Umgebungen einsetzen, erhöht ein solcher Prüfansatz perspektivisch auch den Druck, eigene Evaluations- und Governance-Modelle ähnlich zu professionalisieren – inklusive der Frage, wie viel interne Information externe Prüfer wirklich brauchen, um mehr zu leisten als nur ein oberflächliches Audit.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Anthropic startet Embedded-Evaluierung mit METR für KI-Risiken" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Anthropic startet Embedded-Evaluierung mit METR für KI-Risiken" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Anthropic startet Embedded-Evaluierung mit METR für KI-Risiken« bei Google Deutschland suchen, bei Bing oder Google News!