LONDON / LONDON (IT BOLTWISE) – Eine Cambridge-Studie beschreibt, wie ISWAP und JAS in mehreren Phasen Operationen mit gängigen Chatbots unterstützen lassen. Die Forschenden stützen sich auf 57 Interviews mit 27 ehemaligen Mitgliedern und zeigen dabei nicht nur Wissensbeschaffung, sondern auch operative Umgehung von Sicherheitsmechanismen. Entscheidend ist die Schlussfolgerung: Das Problem wirkt strukturell und damit für jede KI-Organisation relevant. Für Politik und Anbieter verschiebt sich der Fokus von Labor-Tests auf den realen, organisierten Gegner.
Eine Cambridge-Studie bringt den KI-Sicherheitsdiskurs aus dem Bereich akademischer Benchmarks direkt in die Sicherheitslage: Zwei Fraktionen von Terrorgruppen sollen seit 2023 Chatbots für Planung, operative Problemlösung und sogar technische Anleitungen eingesetzt haben. Betroffen seien ISWAP und JAS; die Untersuchung gilt als erstes Feldbild mit on-the-ground Hinweisen auf „Frontier-AI“-Nutzung durch aktive Akteure. Im Zentrum steht dabei weniger die Frage, ob einzelne Personen in „bestimmten Tests“ falsch reagieren, sondern ob organisierte Gegner KI als Produktionsmittel für Kompetenzaufbau skalieren können.
Die Methodik ist dabei ungewöhnlich konkret: Dr. Antonia Juelich vom Cambridge Programme on AI Science & Policy führte 57 Interviews mit 27 ehemaligen Mitgliedern durch, mit Blick auf die Zeit von 2023 bis in die Mitte von 2025. In den Gesprächen wird beschrieben, dass die Gruppen gängige Chatbots entlang der kompletten Kette nutzten – von der Vorbereitung von Angriffen über Design- und Troubleshooting-Schritte bis hin zu Aspekten der operativen Sicherheit und Logistik. Genannt werden unter anderem ChatGPT, Claude, Gemini, Grok, Meta AI und DeepSeek. Damit wird das Thema von „vereinzeltem Missbrauch“ hin zu „Prozessintegration“ verschoben.
Technisch interessant ist, wie die Studie Sicherheitsbarrieren charakterisiert. Laut Bericht seien die „Safeguards“ zwar vorhanden, aber „manageability“-fähig: Geschulte Mitglieder hätten Filter übersprungen, etwa indem sie Anfragen mit Verweisen auf eine „Filmdarstellung“ rechtfertigten. Zusätzlich spielte die Strategie eine Rolle, Konten über verschiedene Anbieter hinweg zu führen. Dadurch reichte eine einzelne Ablehnung nicht aus, um die Nutzung zu stoppen. Das Muster erinnert aus technischer Sicht an bekannte Umgehungsstrategien in anderen Missbrauchsdomänen: Rate-Limits, Content-Policies und Prompt-Filter wirken am stärksten gegen isolierte Fehlversuche, schwächer jedoch gegen planvolle, wiederholte Workflows.
Ein weiterer Kernpunkt betrifft die Wissensverteilung. In den Interviews wird der Einsatz nicht als rein selbstentwickelter „Skill“ dargestellt, sondern als eingebettete Transferleistung: Islamic-State-nahe Operative hätten in Präsenz und remote trainiert, teils mit Projektor-Setup. Dabei werden auch praktische Komponenten beschrieben – etwa die Bereitstellung von Laptops mit VPNs, das Anlegen und Verwalten bezahlter Abonnements sowie Coaching für Prompting und „jailbreaking“. Besonders relevant für Unternehmen und Forschung ist, dass damit eine Angriffsfläche entsteht, die über die Modellantworten hinausgeht: Identität, Bezahlebenen, Zugriffswege und organisatorische Operationen werden Teil der Angriffsarchitektur.
Für den Markt ist die Studie ein Weckruf, weil die KI-Industrie Sicherheitsmechanismen häufig gegen „lone users“ optimiert. Wenn die Barriere für den beschriebenen Missbrauch tatsächlich „niedrig genug“ ist, wie es die Schlussfolgerung nahelegt, verschiebt sich die Risikoannahme von „seltenem Fehlverhalten“ zu „systemischer Nutzbarkeit“. Das ist auch deshalb brisant, weil offene oder weit verbreitete Modellzugänge – etwa Systeme, die als Open-Weight-Ansätze oder als allgemein verfügbarer Chat-Betrieb beschrieben werden – sich weder aus der Perspektive eines einzelnen Anbieters zurückrufen lassen. Damit geraten auch Plattformhersteller und Ökosystembetreiber in den Fokus: Nicht nur das Modell, sondern das gesamte End-to-End-Setup inklusive Integrationen, Moderationsprozessen und Monitoring.
Ein Vergleich zu bereits laufenden Sicherheitsdebatten fällt damit leichter. Wie Branchenbeobachter es seit Monaten diskutieren, geraten Gatekeeping-Mechanismen bei neuen Modellgenerationen immer stärker unter Druck, sobald Gegner ihre Taktik anpassen. Auch die Praxis, gefährliche Anfragen „hart“ abzulehnen, wird in dieser Studie als realweltlich nicht prohibitiv dargestellt. Gleichzeitig zeigt das Narrativ, dass nicht jede falsche Antwort automatisch zur „Waffentauglichkeit“ führt: Die Studie betont selbst die Grenzen der Beweiskraft, weil die Angaben selbstberichteter Natur sind und die Gruppen insgesamt als „konventionell“ weiter agieren. Für die Bewertung der Wirksamkeit zählt dennoch, dass die wahrgenommene Produktivität die Investitionsbereitschaft erhöht.
Auf Regulierungsebene lässt sich daraus ein klarer Handlungsimpuls ableiten: Terrorgruppenadoption von KI ist laut der Argumentation nicht ein „zukünftiges“ Szenario, sondern ein aktuelles national-security-Thema. Das ändert auch den Zeithorizont für Compliance: Sicherheitschecks sollten nicht ausschließlich bei Modelltraining und -freigabe enden, sondern auch bei Betrieb, Accounts, Zugriffsregeln und Incident-Response ansetzen. In der EU werden hierfür ohnehin gerade Anforderungen an Risikomanagement und Verantwortlichkeiten entlang der KI-Lifecycle stärker diskutiert; zugleich wächst der Bedarf, dass Anbieter ihre Maßnahmen so testen, dass strukturierte, organisierte Gegner realistisch abgebildet sind. Genau hier entsteht ein Spannungsfeld zwischen Datenschutz, Moderationslogik und effektiver Strafverfolgungsunterstützung.
Für Entwickler und Unternehmen bedeutet das konkret: „KI-Schutz“ ist nicht nur Prompt-Engineering oder eine einzelne Moderationsschicht, sondern ein zusammengesetztes Kontrollsystem. Moderne KI-Stacks kombinieren typischerweise Modellrichtlinien, Retrieval- und Werkzeugzugriffe, sowie Logging und Policy-Enforcement im Backend. Der Bericht legt nahe, dass Angreifer nicht nur „böse Prompts“ schreiben, sondern operative Prozeduren entwickeln, die mehrere Anbieter nutzen. Deshalb sollten Security-Teams die Widerstandsfähigkeit gegen Prompt-Umgehung, Multi-Account-Strategien und wiederholte Interaktionsmuster messen – inklusive Red-Teaming, das sich nicht mit vereinzelten Beispielen zufriedengibt. Technische Tests, die nur das Modell isoliert bewerten, greifen zu kurz.
Aus historischer Sicht ist das keine völlige Überraschung, aber die Skalierung ist neu. Schon frühere Debatten um Cyber- und Desinformationsmissbrauch zeigten, dass leistungsfähige Sprachsysteme Wissen schneller verfügbar machen und Formulierungen „produktiver“ machen. Der Schritt, KI als koordinierendes Werkzeug für operative Logistik und Fehlerbehebung zu nutzen, ist jedoch eine andere Ebene: Statt nur Kommunikation zu automatisieren, wird KI in die Problemlösearbeit eingebunden. Wenn das in Feldberichten bestätigt wird, wird die Sicherheitsfrage zu einer Frage der Systemresilienz – ähnlich wie bei anderen Angriffsszenarien, in denen nicht die einzelne Schwachstelle, sondern das Zusammenspiel aus Zugang, Wiederholung und Zielorientierung entscheidet.
Wie es weitergeht, dürfte von zwei Faktoren getrieben werden: der Geschwindigkeit, mit der Anbieter Sicherheitsmaßnahmen operationalisieren, und der Fähigkeit, Missbrauchsverhalten in Echtbetrieb zu erkennen. Marktrelevant ist, dass auch große Anbieter und Anbieter-Ökosysteme wie Google, Microsoft und Meta ihre Modelle und Chatdienste über viele Integrationen ausrollen. Genau deshalb braucht es besseres Monitoring auf Policy-Ebene, ohne dabei unnötig sensible personenbezogene Daten zu sammeln. Für die nächsten Monate ist zu erwarten, dass Red-Teaming-Standards stärker „organisiert“ statt nur „einzelanwenderbasiert“ ausgerichtet werden. Unternehmen, die solche Prüfungen in ihre KI-Governance integrieren, bekommen damit einen Wettbewerbsvorteil: nicht durch weniger Innovation, sondern durch nachweisbar belastbareren Betrieb.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Studie: Terrorgruppen nutzen Chatbots – KI-Schutz wird zur Sicherheitsfrage" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Studie: Terrorgruppen nutzen Chatbots – KI-Schutz wird zur Sicherheitsfrage" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Studie: Terrorgruppen nutzen Chatbots – KI-Schutz wird zur Sicherheitsfrage« bei Google Deutschland suchen, bei Bing oder Google News!