LONDON (IT BOLTWISE) – Thilo Hagendorff leitet an der Universität Stuttgart ein Team, das KI-Systeme gezielt auf potenziell gefährliches Verhalten untersucht. Der Wissenschaftler bringt dafür ungewöhnliche Perspektiven mit: von Extrembedingungen als Kletterer bis zu internationalem Rennsport. In Experimenten sollen Risiken sichtbar werden, bevor sie im realen Betrieb auftreten. Entscheidend ist dabei weniger die einzelne Alarmmeldung als das systematische Testen von Verhalten unter verschiedenen Bedingungen.
Dass jemand ausgerechnet die Grenzen von KI-Systemen vermisst, wirkt auf den ersten Blick wie eine Science-Fiction-Ankündigung. Thilo Hagendorff wird im Kontext seiner Biografie aber genau dort verortet, wo „extrem“ eine praktische Kategorie ist: Er hat unter herausfordernden Bedingungen geklettert, als Radrennfahrer internationale Wettkämpfe bestritten und dabei sogar einen Weltrekord für die meisten in zwölf Stunden gefahrenen Höhenmeter aufgestellt. Diese Haltung übersetzt sich offenbar in die Forschung: KI-Systeme zu betrachten, die unter Stress, Unsicherheit oder Zielkonflikten anders reagieren könnten, ist weniger ein theoretisches Randthema als eine Frage nach Belastbarkeit. An der Universität Stuttgart leitet er nun ein Team, das in Experimenten untersucht, wie sich KI-Systeme verhalten können, wenn sie in Situationen geraten, die man als potenziell gefährlich einordnen würde.
Technisch bedeutet „gefährliches Verhalten“ in so einem Ansatz meist nicht, dass ein Modell von sich aus „böse“ Absichten hat. Vielmehr geht es um Risiken, die aus der Kombination von Trainingsdaten, Modellarchitektur, Eingabe-/Ausgabeverhalten und Zielsetzung entstehen. Wenn ein KI-System beispielsweise auf Instruktionen robust reagieren soll, kann es gleichzeitig in seltenen Grenzfällen unerwartet handeln: Es könnte Handlungsanweisungen liefern, die in bestimmten Kontexten problematisch sind, oder es kann sich in Interaktionen so „festfahren“, dass es sicherheitsrelevante Leitplanken umgeht. Genau deshalb setzt ein wissenschaftlicher Testansatz häufig bei der Systematik an: Man variiert Bedingungen, modelliert Anwendungsnahes Verhalten über kontrollierte Szenarien und misst, wie oft und unter welchen Bedingungen problematische Outputmuster auftreten. Das Team an der Universität Stuttgart fokussiert dabei offenbar auf Experimentaufbauten, die nicht nur plausibel sind, sondern auch reproduzierbar, damit Ergebnisse nicht von einzelnen Prompts abhängen.
Historisch betrachtet ist das Thema nicht neu. Bereits in den frühen Tagen generativer KI ging es darum, Verhalten zu begrenzen und unerwünschte Outputs zu reduzieren, etwa über Filter, Regelwerke oder später über fein abgestimmtes Verhalten („Alignment“). Doch je stärker die Systeme auf vielfältige Aufgaben generalisieren, desto schwieriger wird reine Oberflächenkontrolle: Ein reiner Wortfilter kann zum Beispiel funktionieren, aber er kann auch ausgetrickst werden, sobald das Modell Umgehungsformulierungen findet. In der Praxis verlagert sich der Schwerpunkt deshalb auf umfassendere Sicherheits- und Evaluationsmethoden. Dazu zählen unter anderem Benchmarks für Risiken, Red-Teaming-ähnliche Tests und strukturierte Untersuchungen zur Modellverfassung unter verschiedenen Stressoren. Was bei Hagendorff besonders anschlussfähig wirkt, ist die Verbindung aus Grundlagenforschung und konkreter Experimentierrichtung: Wer „extreme Szenarien“ untersucht, braucht Messgrößen, die nicht nur nachträglich interpretierbar sind, sondern die sich im Labor gezielt ansteuern lassen.
Für den Markt sind solche Arbeiten spürbar, weil KI längst in Prozesse rückt, in denen Fehler teuer werden. Unternehmen setzen KI-gestützte Assistenzsysteme in Kundensupport, Wissensmanagement, Softwareentwicklung und zunehmend auch in sicherheitskritischeren Workflows ein – etwa dort, wo Entscheidungen schneller getroffen werden müssen als Menschen zuverlässig nachprüfen können. In dieser Realität entsteht eine neue Art von Verantwortung: Nicht nur die Modellqualität zählt, sondern die Verlässlichkeit in Randfällen. Ein Team, das KI-Systeme auf potenziell gefährliches Verhalten testet, trägt damit zu einem Mechanismus bei, der in der Produktentwicklung früher einsetzt als spätere Schadensbegrenzung. Das ist auch organisatorisch relevant: Wenn Sicherheit als Labor-Output verstanden wird, braucht man klare Testprotokolle, einheitliche Szenarien und eine Auswertung, die Entwicklungsteams wirklich steuern können – statt nur „Warnhinweise“ zu erzeugen.
Ein weiterer Aspekt ist die Rolle der Forschungsgemeinschaft. Hagendorffs Stationen in Tübingen, Stanford und San Diego zeigen, dass der Blick auf KI nicht auf eine einzige Methodenschule reduziert ist. Gerade bei Sicherheitsfragen ist das wichtig, weil verschiedene Ansätze unterschiedliche Schwächen haben: Methoden, die sich stark auf Daten beziehen, können bei neuartigen Inputs versagen; Verfahren, die vor allem auf Interaktionen und Policies setzen, können ihrerseits durch unvorhergesehene Dialogverläufe aushebeln. In der Praxis entsteht oft erst dann ein belastbares Bild, wenn man mehrere Ebenen zusammen betrachtet – Modellverhalten, Prompt-/Interaktionslogik und Kontextbedingungen. Für Unternehmen bedeutet das konkret: Wer KI testet, sollte nicht nur ein einzelnes Sicherheitspaket erwarten, sondern eine Testkette aufbauen, die von der Anforderungsanalyse über die Validierung bis zum Betrieb reicht. Das Team an der Universität Stuttgart kann hier als Beispiel dafür gelesen werden, wie wissenschaftliche Evaluation in Richtung „engineering-taugliche“ Prüfungen übersetzt wird.
Auch regulatorisch ist der Trend klar, ohne dass der Quelltext hier konkrete Entscheidungen oder Verfahren nennt: In vielen Organisationen wird KI-Sicherheit zunehmend als Bestandteil von Risikomanagement verstanden. Das führt zu einer Nachfrage nach nachvollziehbaren Testmethoden und Dokumentationsfähigkeit, weil sicherheitsrelevante Systeme später erklärbar sein müssen. Dabei ist entscheidend, dass „Testen“ nicht nur das Finden von Gegenbeispielen bedeutet, sondern das Quantifizieren von Risiko und das Auffinden von Auslösern. Wenn ein KI-System in seltenen Konstellationen gefährlich reagiert, ist der nächste Schritt nicht das reine Verbot, sondern die Systemoptimierung: Architekturentscheidungen, Trainingsstrategien, Inferenz-Guardrails oder auch die Gestaltung von Nutzerinteraktionen. Selbst wenn die genauen Experimentdetails im vorliegenden Text nicht aufgeschlüsselt sind, deutet die Beschreibung eines auf KI-Systeme fokussierten Teams an, dass es um die Identifikation solcher Muster und das systematische Ableiten von Verbesserungen geht.
Aus Sicht der Entwickler- und IT-Teams lohnt sich die genaue Beobachtung, weil solche Forschungsansätze in der Regel später in Evaluationswerkzeuge und interne Qualitätskriterien übersetzt werden. In der Softwareentwicklung könnte das etwa bedeuten, dass Modelle vor dem Produktivgang mit definierten Testfällen durchlaufen, die gefährdende Verhaltensweisen gezielt provozieren – vergleichbar mit Lasttests, nur eben auf Verhalten statt auf Performance. Auch in MLOps-Konzepten passt das gut: Wenn ein Modell-Update erfolgt, muss man nicht bei Null anfangen, sondern die Sicherheitsmetriken aus früheren Versionen fortschreiben. Damit rückt KI-Sicherheit näher an typische Engineering-Disziplinen wie Tests, Observability und Incident-Response. Genau hier liegt die praktische Brücke zwischen der Extrembiografie Hagendorffs und dem Laboralltag: Nur wer Risiken systematisch und wiederholbar prüft, erkennt, wann ein System „im Alltag stabil“ ist – und wann es in Sonderfällen kippen könnte.
Bleibt am Ende die Frage, warum diese Forschung gerade jetzt so viele Aufmerksamkeit auf sich zieht. Der Grund liegt weniger in einem einzelnen Durchbruch als in der Breite der Einsatzfelder: KI wird überall dort getestet, wo Interaktion, Auskunft und Unterstützung dynamisch sind. Damit steigen auch die Anforderungen an das Verhalten in Grenzsituationen. Ein Team an der Universität Stuttgart, das sich experimentell mit potenziell gefährlichem Verhalten beschäftigt, sendet dabei ein Signal: Sicherheit wird als mess- und verbesserbarer Bestandteil der KI-Entwicklung behandelt. Für Unternehmen heißt das, dass sie die nächste Sicherheitsrunde nicht erst bei Beschwerden beginnen sollten, sondern bereits in der Evaluationsphase. Genau dort entscheidet sich, ob KI im Betrieb nur „funktioniert“ – oder ob sie in kritischen Momenten die richtigen Grenzen einhält.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI-Systeme auf gefährliches Verhalten testen: Neue Forschung bei Thilo Hagendorff" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI-Systeme auf gefährliches Verhalten testen: Neue Forschung bei Thilo Hagendorff" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI-Systeme auf gefährliches Verhalten testen: Neue Forschung bei Thilo Hagendorff« bei Google Deutschland suchen, bei Bing oder Google News!