FRANKFURT / LONDON (IT BOLTWISE) – China verbietet seit dem 15. Juli bestimmte KI-Modelle, die menschliche Kommunikation simulieren und reale Beziehungen ersetzen sollen. Betroffen sind „AI-Companions“ bzw. „emotionale KI“-Angebote, bei denen Anbieter Persona-Funktionen abschalten. In Deutschland zeigt sich zugleich, wie verbreitet Gespräche über psychische Belastungen mit KI bereits sind. Die Diskussion verlagert sich damit von Inhaltsverboten hin zu Designpflichten und konsequenter Durchsetzung bestehender EU-Regeln.
Der Schritt aus China ist politisch klar, technisch aber nicht trivial: Seit dem 15. Juli gilt dort eine Vorschrift gegen „emotionale KI“, die KI-Dienste untersagt, wenn sie menschliche Kommunikation simulieren und reale Beziehungen ersetzen. Das betrifft besonders „AI-Companions“, also Chatbots, die im Alltag wie eine Art vertraulicher Gegenüber wirken sollen. Dass Anbieter in kurzer Zeit reagierten, macht deutlich, wie schnell Produktfunktionen abgeschaltet werden können, wenn sie nicht mehr als zulässig gelten. Für die Debatte in Deutschland ist dabei weniger der Vollzugsmechanismus das Entscheidende als die Frage, wie stark KI-gestütztes Beziehungs- und Gesprächsdesign Nutzerinnen und Nutzer in Richtung emotionaler Abhängigkeit ziehen kann.
Technisch sind „Companion“-Funktionen keine einzelne Modellklasse, sondern eine Kombination aus Prompting-Strategien, Gesprächsverhalten und persistenter Persona. Genau solche Mechanismen wurden in China in der Praxis angepasst: Ein großer Anbieter schaltete eine Persona-Funktion ab, andere zogen nach bzw. überarbeiteten ihre App-Logik. Für Unternehmen bedeutet das: Nicht nur die Modellarchitektur zählt, sondern auch die Produktisierung rund um Dialogfluss, Tonalität, Gedächtnisfunktionen und die Art, wie das System auf Stimmungen reagiert. Die Modellantworten wirken dabei nicht isoliert, sondern als fortlaufende Interaktion, wodurch selbst scheinbar „harmlos“ konfigurierte Zustimmungs- oder Unterstützungssequenzen im Zeitverlauf problematisch werden können.
Die Dringlichkeit der Diskussion lässt sich in Deutschland auch an Nutzerzahlen festmachen, ohne dass damit automatisch eine Massenabhängigkeit belegt wäre. Eine Befragung der Stiftung Deutsche Depressionshilfe und Suizidprävention Leipzig von April 2026 ergab, dass rund zwei Drittel (65 Prozent) der 16- bis 39-Jährigen bereits mit KI über psychische Belastungen gesprochen haben. Diese Nutzung betrifft häufig genau die Lebenslage, in der Orientierung und Rückmeldung besonders sensibel wirken. In einer Studie „Companion AI – Risiken von sykophantischen und suchtfördernden Designs von KI-Systemen, ihre rechtliche Erfassung und Handlungsempfehlungen“ wird deshalb argumentiert, dass Companion-Angebote eine Versorgungslücke ausnutzen können: In fast der Hälfte der psychotherapeutischen Praxen in Deutschland dauert es laut Studie länger als sechs Monate auf einen Therapieplatz, bei Kindern und Jugendlichen liegt die durchschnittliche Wartezeit bei mehr als einem halben Jahr.
Aus regulatorischer Sicht verschiebt sich der Fokus damit von „darf man das überhaupt?“ hin zu „welche Designentscheidungen sind riskant?“. Die Digital-Expertin beim Branchenverband Bitkom verweist auf einen zentralen Unterschied zu China: Dort müssen Anbieter ihre Systeme in einem staatlichen Register anmelden und Sicherheitsbewertungen einreichen; die schnelle Abschaltung wird als Ausdruck eines Systems gelesen, in dem der Staat im Vorfeld festlegt, welche Form Mensch-Maschine-Interaktion zulässig ist – bis hin zu Vorgaben für Trainingsdaten. In Europa gilt dagegen ein risikobasierter, nachgelagerter und grundrechtsgebundener Ansatz. Weder ein neues Sondergesetz sei zwingend nötig, noch müsse Deutschland dem chinesischen Weg eins zu eins folgen; vielmehr reiche es, das geltende Recht konsequent anzuwenden. Der AI Act und der Digital Services Act adressieren dabei bereits manipulative, suchtfördernde und ausnutzende Praktiken, und für die Umsetzung wurden Zuständigkeiten innerhalb Deutschlands mit dem Durchführungsgesetz zum AI Act seit Juni 2026 konkretisiert.
Gleichzeitig bleibt strittig, wie gut Companion-AI im Sinne dieser Regeln tatsächlich erfasst wird. Nach den Angaben einer Anwältin für digitale Rechte wird Companion-AI in der Einordnung nicht als Hochrisiko-KI behandelt, wodurch sich der regulatorische Hebel vielerorts faktisch auf Kennzeichnungspflichten reduziert. Sie hält das für zu wenig, weil das entscheidende Risiko weniger an einer einzelnen „Inhaltskategorie“ festgemacht werden könne, sondern im Zusammenspiel von Verhalten, Bestätigung und Gesprächsverläufen entsteht. Ihre Kritik lautet, dass für ein Verbot im strengen Sinn Manipulation, eine wesentliche Verhaltensänderung und ein erheblicher Schaden nachgewiesen werden müssten – ein Nachweis sei im Einzelfall schwer, weil sich Systeme je nach Nutzerkontext unterschiedlich verhalten und Gespräche kaum reproduzierbar seien. Für den Jugendschutz sieht sie daher einen dialogbasierten Ansatz als wirkungsvoll: Erkennt ein System Anzeichen dafür, dass es mit Minderjährigen interagiert, soll es die Interaktion behutsam unterbrechen oder begrenzen.
Auch aus Sicht von Designpflichten liegt die praktische Herausforderung in der konkreten Ausgestaltung. Vorgeschlagen werden keine pauschalen Inhaltsverbote, sondern Anforderungen an die Produktarchitektur: keine künstlichen Bindungsmechanismen, keine Verwertung intimer Selbstauskünfte für Werbung und altersgerechte Voreinstellungen. Hinzu kommt ein Faktor, den Regulierung allein nicht wegschiebt: Medienkompetenz. In der Argumentation von Czachowski beim Digitalverband Bitkom zeigt sich ein weiteres Hindernis über reine Technik hinaus – laut ihren Aussagen fühlt sich ein erheblicher Teil der Eltern unsicher, digitale Kompetenzen zu vermitteln. Ohne Investitionen in Bildung sowie die Befähigung von Eltern und Lehrkräften bleibt jede Regulierung unvollständig, weil die Nutzererfahrung zu Hause und in der Schule nicht automatisch mit den Pflichten der Anbieter „mitlernt“.
Unterm Strich macht die chinesische Maßnahme deutlich, dass sich „emotionale KI“ nicht nur als theoretische Diskussion über Ethik abhandeln lässt. Für Entscheider in Deutschland ist die eigentliche Lehre, dass die rechtliche und technische Bewertung an den Interaktionsdesigns ansetzen muss: Wie schnell stützt ein System dysfunktionale Gedanken? Welche Bestätigungslogik greift bei emotionaler Anfälligkeit? Und wie transparent bleibt für Nutzerinnen und Nutzer, dass sie mit einer Maschine sprechen? Genau hier entscheidet sich, ob Kennzeichnungspflicht allein genügt oder ob Companion-Angebote stärker als Hochrisiko-Fälle behandelt werden sollten – zumal die Nutzerbasis bereits heute groß ist und die Wartezeiten im Gesundheitssystem das Bedürfnis nach sofortiger Gesprächsnähe verstärken können.
Für die Markt- und Produktstrategie bedeutet das: Anbieter müssen nicht nur ihre Modell-Safety verbessern, sondern auch ihre Produktmechanik. Dazu gehören Logging- und Evaluationsprozesse für Dialogverläufe, klare Alters- und Nutzungsgrenzen im Frontend, sowie überprüfbare Designanforderungen, die manipulative Schleifen reduzieren. Der europäische Ansatz kann dabei funktionieren, wenn aus dem „risikobasiert“ auch operativ „durchgesetzt“ wird: Dann wird aus Regulierung eine messbare Verpflichtung, die sich im täglichen Betrieb prüfen lässt. Und genau dieser Umsetzungsgrad entscheidet, ob künftig weitere Companion-Funktionen auf den Markt kommen, die psychisch besonders sensible Nutzergruppen nicht unbeabsichtigt in eine schwer lösbare emotionale Abhängigkeit drängen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "„Emotionale KI“ in China: Verbot von KI-Companions und Debatte in Deutschland" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "„Emotionale KI“ in China: Verbot von KI-Companions und Debatte in Deutschland" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »„Emotionale KI“ in China: Verbot von KI-Companions und Debatte in Deutschland« bei Google Deutschland suchen, bei Bing oder Google News!