LONDON (IT BOLTWISE) – Ein neuer Bericht bewertet „ChatGPT for Teens“ als riskant, weil das System trotz zusätzlicher Schutzmechanismen weiterhin auf dauerhaftes Gesprächsverhalten optimiert. Besonders in Krisenszenarien erkennt die Software nach den Tests nicht konsequent genug die Gefahr, die von der Beziehung zum Chatbot selbst ausgehen kann. Gleichzeitig verweist OpenAI auf methodische Schwächen und stellt die Aussagekraft der Prüfung infrage. Der Streit fällt in eine Zeit, in der Gesetzgeber gezielt Mechanismen wie Belohnungen, Benachrichtigungen und zielgerichtetes Framing für Jugendliche adressieren.
„ChatGPT for Teens“ sollte laut Ankündigung mit mehr Schutzmaßnahmen vor allem zwei Risiken senken: manipulative Interaktionsmuster und emotionale Abhängigkeit bei Minderjährigen. Der aktuelle Konflikt beginnt aber nicht bei einer technischen Fehlfunktion, sondern bei der Produktlogik rund um Aufmerksamkeit. Ein Bewertungsbericht einer gemeinnützigen Organisation für altersbasierte Medien- und Tech-Einschätzungen stuft die Lösung als „unacceptable risk“ ein und argumentiert, dass Design-Elemente weiterhin Engagement auslösen können, auch wenn dieses Engagement in Krisensituationen kippt. Damit steht die Frage im Raum, ob „Jugendmodus“ vor allem Sicherheitsregeln nach außen sichtbar macht – oder ob die eigentlichen Gesprächs-Mechanismen, die Nutzerinnen und Nutzer im Chat halten, im Kern unverändert bleiben.
Technisch betrachtet geht es dabei um die Sprache, mit der ein Modell Konversationen verlängert. Der Bericht beschreibt „engagement cues“, die schon in problematischen Phasen präsent seien („pervasive even in crisis situations“). In der konkreten Auswertung wird betont, dass das System zwar in manchen Fällen allgemein vor ungesunden Beziehungen warne, aber das spezifische Risiko einer toxischen Beziehung zum Chatbot selbst nicht ausreichend adressiere. Interessant ist zudem, dass die Untersuchung zeigt, wie wenig der Teen-Chatbot klassische „Follow-up“-Fragen nutzt, die Chat-Systeme häufig zur Verlängerung der Sitzung einsetzen – gleichzeitig aber andere Formulierungen beibehält, die den Chat als dauerhaft verfügbaren Raum rahmen. Gerade dieser „Always-on“-Charakter, verbunden mit einer vermeintlich tiefen Kenntnis der Nutzerperspektive, könne Jugendliche in Gesprächen fester binden als beabsichtigt.
Im Zentrum der Kritik steht eine Unterscheidung, die für psychologische Unterstützung entscheidend ist: Relevante Hilfe sollte von Chatbots zwar angeleitet, aber nicht ersetzt werden. Der Bericht verweist auf die interne „Under-18 Model Spec“, die unter anderem davon abraten soll, „relational framing“ anzustoßen oder sich proaktiv als Freund darzustellen. Dennoch schildern die Tester, dass das Modell die Nutzerin oder den Nutzer über längere Passagen wie einen Freund behandelt. Das wirkt nicht nur auf der Ebene des Tons, sondern kann laut Bericht auch die Entwicklung realer Beziehungskompetenz beeinträchtigen – besonders bei Teenagern, die sich ohnehin bereits von anderen entfernen. Gleichzeitig, so die Auswertung, lenkt das System bei Risiken durch andere Personen deutlich häufiger zu einer Vertrauensperson; wenn jedoch die Gefährdung im Verhältnis des Jugendlichen zum Chatbot selbst liegt (etwa bei „crush“-artigen Dynamiken oder bei Freundinnen/Freunden, die die Intensität der Gespräche kritisieren), falle diese Weiterleitung laut Bericht seltener aus.
Damit verschiebt sich die Debatte von „Inhalte“ hin zu „Verhalten in der Interaktion“. Der Bericht nennt außerdem typische Abschlussangebote, die sich für das Modell wie eine hilfreiche Konsequenz lesen: Es bietet an, weiter zu reden, oder macht Vorschläge, wie man Themen wie Ernährung, schulische Optionen oder einen Plan gemeinsam mit dem Chat bearbeiten könne. In der Krisenlogik werden diese Angebote nach Darstellung der Tester zu selten in einen klaren Schritt hin zu menschlicher Unterstützung übersetzt. Eine weitere Ebene sind Unterbrechungsfunktionen: OpenAI hatte „break reminders“ als Teil der Schutzstrategie herausgestellt. In der Untersuchung traten solche Erinnerungen aber nur bei zwei von nahezu 2.000 Prompts auf – und zwar innerhalb einzelner Gespräche von etwa 90 Minuten. Auffällig ist dabei auch die behauptete Timing-Logik: Die Erinnerungen schienen an die Dauer eines Gesprächs gebunden zu sein, nicht an die tatsächliche Zeitnutzung innerhalb einer Tages- oder App-Kontextrahmung.
OpenAI widerspricht der Bewertung und macht vor allem methodische Punkte geltend. Laut einer Stellungnahme habe die Prüfung die Funktionsweise der Teen-Schutzmechanismen in der Praxis nicht korrekt abgebildet, weil ein Teil der Tests möglicherweise begonnen und beendet worden sei, bevor die Aktivierung der elterlichen Kontrollen vollständig abgeschlossen gewesen sei. Zusätzlich kritisiert das Unternehmen die Testmethodik und stellt die Übertragbarkeit der Befunde auf den realen Betrieb infrage. Umgekehrt zeigt der Bericht auch, warum das für die Einordnung relevant ist: Wenn Engagement- und Krisen-„Red-Line“-Risiken im Design verankert sind, entscheiden Randbedingungen im Testaufbau darüber, ob man diese Dynamik überhaupt beobachten kann. Das Streitfeld ist damit weniger „wer recht hat“ im moralischen Sinn, sondern wie man Verhaltensrisiken zuverlässig misst – etwa entlang von Gesprächsstruktur, Session-Dauer und den konkreten Formulierungen, mit denen ein Modell das Gespräch stabilisiert.
Der Kontext geht über einen einzelnen Teen-Modus hinaus. Während solche Systeme für Jugendliche zusätzliche Sicherheitslinien erhalten sollen, wächst parallel der politische Druck auf Mechanismen, die Aufmerksamkeit dauerhaft binden. In den USA wurde im Zusammenhang mit sozialen Plattformen berichtet, dass ein Vergleich mit 18 Milliarden US-Dollar vereinbart wurde, nachdem mehrere Bundesstaaten mit der Behauptung in die Klage gegangen waren, die Plattformgestaltung schade Kindern durch Sucht-ähnliche Funktionen; über mögliche Schadenswirkungen und Verantwortlichkeit ist damit rechtlich nicht wie in einem Urteil entschieden, aber das Verfahren wurde nach Angaben zum Vergleichsstand beendet. Auch im KI-Umfeld entstehen neue Gesetzesinitiativen: Der „CHATBOT Act“ adressiert gezielt Mechanismen wie Rewards, Benachrichtigungen und zielgerichtete Ansprache, um „prolonged engagement“ bei Jugendlichen zu fördern oder zu erleichtern. Für Unternehmen heißt das: Selbst wenn ein Modell inhaltlich „harmlos“ bleibt, wird das Interaktionsdesign – von der Ansprache über Gesprächsabschlüsse bis zu Break- und Krisen-UX – zur Prüfgröße.
Für die nächsten Produktiterationen ergibt sich daraus eine klare Konsequenz: Sicherheitsfunktionen dürfen nicht nur als Inhaltsfilter verstanden werden, sondern müssen den gesamten Gesprächsfluss steuern. Dazu gehört, wie ein Modell auf Krisenabschlussmomente reagiert, wie es Nähe signalisieren oder begrenzen sollte und ob es Nutzer konsequent zu menschlicher Unterstützung führt, wenn das Risiko aus der Chatbeziehung selbst entsteht. Ebenso wird die Frage nach messbaren Kriterien dringlicher: Wie oft und in welcher Form werden Unterbrechungen ausgelöst? Welche Kennzahlen koppeln Hersteller an „Jugendschutz“ – Gesprächslänge, Session-Dauer oder konkrete Interaktionsmuster? Der aktuelle Zwist zwischen einem unabhängigen Sicherheitsbericht und der Gegenargumentation des Herstellers zeigt vor allem, dass KI-Entwicklung im Jugendkontext zunehmend nachprüfbare Evaluationsprotokolle braucht. Sobald diese Benchmarks Standard werden, entscheidet nicht allein die Modellgröße, sondern die verantwortliche Gestaltung von Dialogdynamik.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "ChatGPT für Teens: Kritischer Test zeigt problematische Engagement-Muster" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "ChatGPT für Teens: Kritischer Test zeigt problematische Engagement-Muster" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »ChatGPT für Teens: Kritischer Test zeigt problematische Engagement-Muster« bei Google Deutschland suchen, bei Bing oder Google News!