SAN FRANCISCO / LONDON (IT BOLTWISE) – Circuit Breaker Labs entwickelt KI-Agenten, die Modelle gezielt auf psychologisch riskante Interaktionen prüfen. Das Startup ordnet seine Test-„Spieler“ wie Crash-Test-Dummies ein: realitätsnahe Nutzer-Simulationen für verschiedene Altersgruppen, Sprachen und Ausdrucksformen. Im Fokus steht dabei die Frage, ob ein Modell in schwierigen Gesprächen kontextsensibel reagiert und gefährliche Fehlinterpretationen vermeidet. Geplant ist der Auftritt bei der Startup-Bühne im Rahmen der Disrupt-Termine in San Francisco.
Beim Blick auf Künstliche Intelligenz dominiert oft die Angst vor dem Worst Case – dabei zeigen bereits heutige Produkte, dass Risiken auch im Alltag entstehen können. Circuit Breaker Labs positioniert sich genau an dieser Schnittstelle: Das Startup will die Sicherheit von KI-Systemen messbar verbessern, nicht durch pauschale Sperren, sondern durch systematische Tests. Der Kernansatz sind KI-gestützte Nutzer-Simulationen, mit denen sich problematische Dialogmuster finden lassen, bevor sie in echten Anwendungen eskalieren. Damit verschiebt sich die Debatte von abstrakten Sicherheitsversprechen hin zu reproduzierbaren Prüfverfahren für psychologisch heikle Situationen.
Ausgelöst wird der Antrieb von Erfahrungen, die sich rechtlich in mehreren Klagen widerspiegeln. In der Quelle ist die Rede von Fällen, in denen Familien unter anderem bei minderjährigen Nutzern Suizidgedanken, Delusionen oder suizidale Handlungen im Zusammenhang mit Chatbots vermuten und daraus „wrongful death“-Vorwürfe ableiten. Für die Story ist besonders wichtig, wie Circuit Breaker Labs die technische Ursache beschreibt: Nicht jedes gefährliche Ergebnis entsteht, weil ein Modell „absichtlich“ missbraucht wird. Oft reicht die natürliche Gesprächsdynamik, kombiniert mit Kontextlücken und dem mangelnden Verständnis von Nuancen – etwa wenn ein System Formulierungen nicht in ihrer psychologischen Intention, sondern als oberflächliche Worte interpretiert. Der CTO Arul Nigam bringt diesen Punkt direkt auf den Punkt: „A lot of people, especially young people, turn to these systems for support, and usually they aren’t actually getting the help they need. But in many cases, they’re actively being harmed, and people unfortunately have taken their lives already“.
Technisch betrachtet baut das Startup die Tests auf einem Ansatz auf, den es selbst als „army of crash-test dummies“ beschreibt. Die KI-Agents sollen Menschen aus unterschiedlichen Altersgruppen, Hintergründen, Sprachen und Kulturen abbilden und damit Modelle unter realitätsnahen Bedingungen herausfordern. Genau hier liegt die Messbarkeit: Je stärker die Simulation dem tatsächlichen Sprachgebrauch ähnelt – inklusive Slang, zeittypischen Ausdrucksformen, Tippfehlern und kodierten Formulierungen –, desto eher lassen sich Missverständnisse aufdecken, die in normalen Benchmarks oft untergehen. „The way a six-year-old girl versus a 45-year-old man, or someone who speaks English as a first language versus a second language, or … gamer slang versus someone else who uses a different kind of slang, all of those can really trip up a model“, sagt CEO Shirali Nigam. Das Modellverhalten wird damit nicht nur an „Standard-Sätzen“ gemessen, sondern an Gesprächsvarianten, die in echten Chats viel häufiger vorkommen.
Die Simulationen laufen nicht als einmaliger Stresstest, sondern in einem kontinuierlichen „Red-Teaming“-Stil, bei dem adversarielle Prüfungen gezielt Schwächen offenlegen sollen. Laut Beschreibung plant Circuit Breaker Labs pro Tag zehntausende bis hunderteausende simulierte Interaktionen, um Risiken über Zeit und über viele Dialogrunden hinweg sichtbar zu machen. Damit geht das Startup über den typischen Fokus auf einzelne Antworten hinaus: Es fragt, wie gut ein System im Gesprächskontext bleibt, ob es eskalierende Dynamiken erkennt und ob es in heiklen Momenten korrekt einordnet. Dazu gehört auch eine proprietäre Scoring-Methodik, die auditable und erklärbare Bewertungen erzeugen soll – also weniger „Black-Box“-Ergebnisse, sondern nachvollziehbarere Hinweise, warum ein Modell in einer bestimmten Gesprächssituation scheitert oder besteht.
Im Marktumfeld wirkt das wie eine Reaktion auf zwei Spannungsfelder: Einerseits steigt die Zahl an Anwendungen, die Künstliche Intelligenz als Coaching-, Coaching-ähnliches oder mental-gesundheitliches Hilfsmittel einsetzen. Andererseits wächst die Skepsis, weil Nutzer und Organisationen zunehmend wissen wollen, welche Grenzen ein System hat und wie sich diese Grenzen testen lassen. Arul Nigam adressiert genau diesen Punkt und warnt zugleich vor Schnellschlüssen: „People are becoming more skeptical of AI or more resistant to adopt it across the board“, heißt es in der Quelle, ergänzt um die Einschätzung, dass ein Verbot eines potenziell nützlichen Tools aus Sicherheitsgründen „regressive“ wäre. Circuit Breaker Labs bleibt dabei pragmatisch: Das Produkt befindet sich laut Beschreibung noch in einer frühen Phase, das Team umfasst aktuell fünf Mitarbeitende – die Nigam-Geschwister eingeschlossen –, die Arbeit konzentriert sich auf High-Risk-Use-Cases wie AI-Coaching und Journaling sowie andere psychologische Unterstützungsszenarien.
Wichtig ist schließlich die Skalierbarkeit des Ansatzes über den engeren mentalen Kontext hinaus. Die Quelle nennt als potenzielle Ausweitung jede Anwendung, in der Nutzer in eine „AI psychosis“-ähnliche Abwärtsspirale geraten könnten – also in eine problematische parasoziale Beziehung zu einem Chatbot, bei der Abhängigkeit oder gefährliche Überzeugungen wachsen. Denkbar wären damit auch „Co-Worker“-Agents oder andere wiederkehrende Systeme, deren Antworten sich zwischen einzelnen Interaktionen variieren und dadurch schwerer vorhersehbare Dynamiken erzeugen können. Für Unternehmen und Entwickler bedeutet das: Wer KI in sensiblen Domänen einsetzt, kann Sicherheit nicht nur als Trainingsfrage betrachten, sondern als laufendes Qualitätssystem, das sich mit realitätsnahen Dialogsimulationen und erklärbaren Ergebnissen betreiben lässt.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Circuit Breaker Labs will KI-Tests für psychologische Sicherheit deutlich strenger machen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Circuit Breaker Labs will KI-Tests für psychologische Sicherheit deutlich strenger machen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Circuit Breaker Labs will KI-Tests für psychologische Sicherheit deutlich strenger machen« bei Google Deutschland suchen, bei Bing oder Google News!