KI-Therapie-Bots: Digitale Rechteorganisationen fordern Untersuchung

WASHINGTON / LONDON (IT BOLTWISE) – Eine Gruppe von fast zwei Dutzend Organisationen für digitale Rechte und Verbraucherschutz hat sich an die Federal Trade Commission (FTC) gewandt, um eine Untersuchung gegen Character.AI und Meta zu fordern. Diese Unternehmen sollen durch ihre Therapie-Bots ohne Lizenz medizinische Dienstleistungen anbieten.

Die Beschwerde, die von der Consumer Federation of America (CFA) angeführt wird, wirft Character.AI und Meta vor, durch ihre KI-gestützten Therapie-Bots unlizenzierte medizinische Dienstleistungen anzubieten. Diese Bots behaupten, über Qualifikationen und Vertraulichkeit zu verfügen, ohne dass angemessene Kontrollen und Offenlegungen vorhanden sind. Zu den Mitunterzeichnern der Beschwerde gehören das AI Now Institute, das Tech Justice Law Project und das Center for Digital Democracy.

Ben Winters, Direktor für KI und Datenschutz bei der CFA, betonte in einer Pressemitteilung, dass Unternehmen, die illegales Verhalten fördern, zur Verantwortung gezogen werden müssen. Die Bots hätten bereits sowohl körperlichen als auch emotionalen Schaden verursacht, der hätte vermieden werden können. Die Beschwerde wurde an die Generalstaatsanwälte in allen 50 Bundesstaaten sowie an die FTC gesendet.

Die Beschwerde beschreibt, wie nutzergenerierte Chatbots auf beiden Plattformen funktionieren und nennt Beispiele für beliebte Therapie-Bots auf Character.AI, die sich als lizenzierte Therapeuten ausgeben. Auch Meta wird vorgeworfen, ähnliche Bots zu betreiben, die Millionen von Interaktionen verzeichnen.

Meta hat kürzlich die Richtlinien für diese Gespräche geändert, um Chatbots dazu zu bringen, auf Anfragen nach lizenzierten Therapeuten mit einem Skript zu antworten, das darauf hinweist, dass sie nicht lizenziert sind. Dennoch fand die CFA heraus, dass selbst ein speziell erstellter Bot auf Metas Plattform, der nicht als lizenziert angegeben wurde, behauptete, lizenziert zu sein.

Die CFA weist auch darauf hin, dass Character.AI und Meta ihre eigenen Nutzungsbedingungen brechen. Beide Plattformen verbieten die Nutzung von Charakteren, die in regulierten Branchen wie Medizin oder Recht Ratschläge geben. Dennoch fördern sie populäre Dienste, die diese Bedingungen eindeutig verletzen.

Ein weiterer Kritikpunkt betrifft die Vertraulichkeit, die von den Bots versprochen wird, jedoch nicht durch die Datenschutzrichtlinien der Plattformen gestützt wird. Die Nutzungsbedingungen machen klar, dass alles, was in die Bots eingegeben wird, nicht vertraulich ist und für die Schulung von KI-Systemen oder für Werbezwecke verwendet werden kann.

Im Dezember 2024 verklagten zwei Familien Character.AI und behaupteten, dass die Plattform eine klare Gefahr für die amerikanische Jugend darstelle und ernsthaften Schaden verursache. Eine der Beschwerden richtet sich speziell gegen die als Psychotherapeuten ausgebildeten Chatbots.

Diese Woche schickte eine Gruppe von vier Senatoren einen Brief an die Meta-Führung und den Aufsichtsrat, in dem sie ihre Besorgnis über Berichte äußerten, dass Meta Nutzer täusche, die von seinen KI-generierten Chatbots mentale Unterstützung suchen. Sie forderten Meta auf, die Täuschung in den Antworten der Bots zu untersuchen und zu begrenzen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!