SAN FRANCISCO / MÜNCHEN (IT BOLTWISE) – OpenAI hat kürzlich ein neues System eingeführt, um seine neuesten KI-Modelle, o3 und o4-mini, auf Anfragen zu überwachen, die sich auf biologische und chemische Bedrohungen beziehen.

OpenAI hat ein neues Überwachungssystem entwickelt, um die Sicherheit seiner neuesten KI-Modelle o3 und o4-mini zu gewährleisten. Diese Modelle sind in der Lage, komplexe Fragen zu beantworten, was sie in den Händen von böswilligen Akteuren potenziell gefährlich macht. Um das Risiko zu minimieren, dass die Modelle Anleitungen zur Durchführung schädlicher Angriffe geben, hat OpenAI ein sogenanntes ‘sicherheitsfokussiertes Überwachungsmodul’ implementiert.
Die neuen Modelle o3 und o4-mini stellen laut OpenAI eine bedeutende Weiterentwicklung im Vergleich zu früheren Modellen dar. Insbesondere o3 zeigt eine erhöhte Fähigkeit, Fragen zur Erstellung bestimmter biologischer Bedrohungen zu beantworten. Um diesen Risiken entgegenzuwirken, wurde das Überwachungssystem speziell darauf trainiert, Anfragen zu biologischen und chemischen Risiken zu identifizieren und die Modelle anzuweisen, keine Ratschläge zu diesen Themen zu geben.
Um eine Grundlage für die Überwachung zu schaffen, haben sogenannte Red-Teamer etwa 1.000 Stunden damit verbracht, unsichere Gespräche im Zusammenhang mit Biorisiken zu kennzeichnen. In Tests, bei denen die Blockierungslogik des Sicherheitsmonitors simuliert wurde, lehnten die Modelle in 98,7 % der Fälle die Beantwortung riskanter Anfragen ab.
OpenAI gibt zu, dass der Test nicht berücksichtigt, dass Personen nach einer Blockierung neue Anfragen stellen könnten. Daher wird das Unternehmen weiterhin teilweise auf menschliche Überwachung setzen. Obwohl o3 und o4-mini nicht die ‘hohe Risikoschwelle’ von OpenAI für Biorisiken überschreiten, waren sie im Vergleich zu früheren Modellen wie o1 und GPT-4 hilfreicher bei der Beantwortung von Fragen zur Entwicklung biologischer Waffen.
OpenAI verfolgt aktiv, wie seine Modelle es böswilligen Nutzern erleichtern könnten, chemische und biologische Bedrohungen zu entwickeln. Dies ist Teil des kürzlich aktualisierten Vorbereitungsrahmens des Unternehmens. OpenAI setzt zunehmend auf automatisierte Systeme, um die Risiken seiner Modelle zu mindern. Zum Beispiel wird ein ähnliches Überwachungsmodul verwendet, um zu verhindern, dass der native Bildgenerator von GPT-4o Material zur sexuellen Ausbeutung von Kindern erstellt.
Dennoch haben mehrere Forscher Bedenken geäußert, dass OpenAI die Sicherheit nicht so stark priorisiert, wie es sollte. Ein Partner des Unternehmens für Red-Teaming, Metr, gab an, dass er relativ wenig Zeit hatte, o3 auf einem Benchmark für täuschendes Verhalten zu testen. In der Zwischenzeit hat OpenAI beschlossen, keinen Sicherheitsbericht für sein Modell GPT-4.1 zu veröffentlichen, das Anfang dieser Woche auf den Markt kam.


- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
Stellenangebote

Robotics Engineer (m/w/d) Simulation / AI

Werkstudent im HR IT Projektmanagement - mit Fokus auf Digitalisierung & KI (m/w/d)

Projektmanager (m/w/d) Digitalisierung und KI

Senior Software Architect Conversational AI (all genders)

- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "OpenAI setzt neue Sicherheitsmaßnahmen gegen Biorisiken ein" für unsere Leser?
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "OpenAI setzt neue Sicherheitsmaßnahmen gegen Biorisiken ein" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »OpenAI setzt neue Sicherheitsmaßnahmen gegen Biorisiken ein« bei Google Deutschland suchen, bei Bing oder Google News!