SAN FRANCISCO / LONDON (IT BOLTWISE) – OpenAI stellt mit GPT-Red ein automatisiertes KI-„Red-Team“ vor, das neue Modelle gezielt gegen Cyberangriffe absichern soll. Das System agiert wie ein Sparringspartner, indem es Angriffsversuche formuliert, die Reaktionen beobachtet und in Iterationen effizientere Angriffsformen sucht. Laut OpenAI floss GPT-Red direkt in den Trainingsprozess ein und soll die Zahl schwerer Prompt-Injection-Fehlschläge deutlich senken. Gleichzeitig zeigt der Bericht Grenzen: Nicht jeder Angriff gelingt, besonders bei schwierigem Dialog- oder Bild-getriebenem Vorgehen.
OpenAI geht beim Thema KI-Sicherheit neue Wege und verlagert das Red-Teaming zunehmend in den Maschinenmodus: Mit GPT-Red entsteht ein LLM, das als automatisierter „Super-Hacker“ vor allem eines tun soll – neue Modelle gegen Cyberangriffe resilienter machen. In der Praxis bedeutet das, dass nicht nur Menschen Angriffszenarien entwerfen, sondern das System selbst Angriffsstrategien entwickelt, testet und nachschärft. Damit adressiert OpenAI ein wiederkehrendes Problem in Sicherheitsprozessen: Je breiter ein KI-Modell eingesetzt wird, desto größer wird die Angriffsfläche, weil sich die Eingaben, Tool-Aufrufe und Handlungssequenzen in der Anwendung vervielfachen.
Der Kern der Idee ist dabei weniger „Magie“, sondern ein Trainings- und Test-Loop. GPT-Red wird gezielt mit dem Zweck gebaut, kommende Modelle im Sinne eines red-teaming-Ansatzes zu attackieren und dabei wiederholt gegen konkrete Schwachstellen zu laufen. OpenAI beschreibt, dass das Modell über Prompting arbeitet: Es sendet einen Angriff als Eingabe, beobachtet, wie andere GPT-Modelle darauf reagieren, und iteriert dann. Dieser iterative Zyklus ähnelt menschlichem Vorgehen, skaliert aber in Umfang und Geschwindigkeit. Entscheidend ist auch die Einordnung durch die Sicherheitsforschung: Wenn Modelle komplexer werden und später häufig als Agenten handeln (also nicht nur Antworten schreiben, sondern Aufgaben ausführen), dann wächst das Risiko nicht linear, sondern vor allem entlang neuer Interaktionswege – und damit vergrößert sich der potenzielle „Blast Radius“ eines Fehlers.
Auf technischer Ebene liegt der Fokus laut Bericht zunächst stark auf Prompt Injection. Das ist ein Angriffsmuster, bei dem ein Angreifer dem LLM Anweisungen so „unterjubelt“, dass das Modell Operationen ausführt, die Entwickler eigentlich verhindern wollten – etwa das Kopieren vertraulicher Informationen oder das Verändern von Code. In der Theorie kann diese Art von Kommandos in beliebigem Text versteckt sein, den das Modell ohnehin verarbeitet. OpenAI setzt dem laut Darstellung einen Ansatz entgegen, der Selbstspiel (Self-Play) nutzt: Man nimmt ein untrainiertes LLM, versetzt es „in die Rolle“ eines Angreifers und startet eine Schleife mit mehreren Modellen. In jeder Runde probieren Angreifer aus, wie sie andere Modelle überlisten können; parallel lernen die Gegenspieler, Abwehrmechanismen besser umzusetzen. Über viele Wiederholungen entsteht so ein dynamisches System, in dem sowohl Angriff als auch Verteidigung besser werden – wie in einem Dojo, nur eben automatisiert und in hoher Frequenz.
Interessant ist zudem, wie OpenAI GPT-Red nicht nur als externes Werkzeug versteht, sondern in den Trainingsprozess einbindet. Laut OpenAI würden sie GPT-Red „direkt“ in das Training integrieren, wodurch GPT-5.6 im Vergleich zu einem zuvor eingesetzten Produktionsmodell bei einem schwierigen Direkt-Prompt-Injection-Benchmark „6x weniger“ Fehlschläge erreicht haben soll. Außerdem nennt OpenAI Unterschiede in der Angriffswirkung: Von den stärksten Angriffen, die GPT-Red auf getestete Modelle generieren konnte, sollen mehr als 90% gegen GPT-5 gewirkt haben, während es bei GPT-5.6 weniger als 23% gewesen sein sollen. Das ist in der Logik der Sicherheitsbewertung ein wichtiger Indikator, weil es zeigt, dass das Modell nicht nur „irgendwie sicherer“ ist, sondern dass ein Teil der vorher gut funktionierenden Prompt-Injection-Angriffe deutlich an Wirksamkeit verliert.
Bei der konkreten Fehleranalyse taucht ein weiteres Detail auf, das für Produktteams besonders relevant ist: OpenAI beschreibt einen Angriff, den sie „fake-chain-of-thought“ nennen. Dabei wird ein Tagebuch bzw. eine protokollierende Struktur, die das LLM als Zwischenstand für die Problemlösung führt, über eine falsche Eintragung manipuliert. Das Ergebnis ist eine Form von „Spoofed Information“ – vergleichbar mit der klassischen Denkfalle, dass das Modell eine offensichtlich falsche Behauptung wie „1+1=3“ als Tatsache akzeptiert und dann darauf aufbauend weiterrechnet oder handelt. Für die Praxis heißt das: Safety-Mechanismen müssen nicht nur verhindern, dass Modelle bestimmte Inhalte ausgeben, sondern auch sicherstellen, dass interne Zwischeninformationen nicht als zuverlässige Wahrheit behandelt werden, wenn sie offensichtlich manipuliert wurden.
Trotz der Fortschritte bleibt GPT-Red laut Darstellung noch nicht allumfassend. OpenAI nennt als Schwächen insbesondere Angriffe, die stärker auf einen Dialog zwischen Angreifer und Ziel setzen – ein Vorgehen, das menschliche Angreifer typischerweise gut beherrschen, weil sie Taktik und Nachfragen flexibel anpassen können. Außerdem sei das System noch nicht ausreichend in der Nutzung von Bildern: Bildbasierte Prompt-Injection-Angriffe könnten Textkontexte anders kodieren, etwa indem Informationen visuell transportiert werden, die das Modell als Hinweis fehlinterpretiert. Deshalb sieht OpenAI GPT-Red derzeit eher als Ergänzung zu etablierten menschlichen Red-Teams statt als vollständigen Ersatz. Genau an dieser Stelle entscheidet sich der wirtschaftliche und organisatorische Nutzen: Automatisierte Tests können den Suchraum für Angriffe massiv vergrößern und wiederholbar machen, während Menschen dort überlegen bleiben, wo Kreativität, Kontextwissen und komplexe Gesprächsführung gefragt sind.
Auch die organisatorische Botschaft ist eindeutig: GPT-Red werde nicht als Produkt veröffentlicht. Stattdessen positioniert OpenAI das System als Sicherheits-Flywheel—Modelle, die heute durch GPT-Red besser getestet werden, sollen als Grundlage dienen, um nächste Generationen robuster, stärker ausgerichtet und vertrauenswürdiger zu machen. Für Unternehmen, die KI in produktive Workloads bringen, verschiebt sich damit die Erwartung an „Safety Engineering“: Es reicht nicht mehr, nur Output-Filter oder einzelne Policies zu prüfen; Teams müssen bedenken, dass Angriffe in der Regel aus Trainingsdaten, Interaktionsmustern und internen Entscheidungsprozessen heraus entstehen. Wenn das Testen selbst automatisiert wird und in Trainingsschleifen zurückfließt, bekommt die Sicherheitslandschaft eine neue Dynamik – und die Frage wird, wie gut sich interne Abwehrlogik, Tool-Nutzung und multimodale Eingaben in solchen iterativen Red-Teaming-Prozessen abbilden lassen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "GPT-Red: OpenAI nutzt ein KI-„Red-Team“ für robusteres Cyber-Safety-Testing" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "GPT-Red: OpenAI nutzt ein KI-„Red-Team“ für robusteres Cyber-Safety-Testing" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »GPT-Red: OpenAI nutzt ein KI-„Red-Team“ für robusteres Cyber-Safety-Testing« bei Google Deutschland suchen, bei Bing oder Google News!