Studie warnt vor Risiken bei KI-gestützten Therapie-Chatbots

STANFORD / LONDON (IT BOLTWISE) – Die Nutzung von KI-gestützten Therapie-Chatbots birgt erhebliche Risiken, wie eine aktuelle Studie der Stanford University zeigt. Diese Chatbots, die auf großen Sprachmodellen basieren, könnten Nutzer mit psychischen Erkrankungen stigmatisieren und unangemessen oder gar gefährlich reagieren.

In einer Zeit, in der Künstliche Intelligenz (KI) zunehmend in verschiedenen Bereichen des täglichen Lebens eingesetzt wird, warnt eine neue Studie der Stanford University vor den potenziellen Gefahren von KI-gestützten Therapie-Chatbots. Diese Chatbots, die auf großen Sprachmodellen basieren, könnten nicht nur Nutzer mit psychischen Erkrankungen stigmatisieren, sondern auch unangemessen oder sogar gefährlich reagieren.

Die Studie, die auf der ACM Conference on Fairness, Accountability, and Transparency vorgestellt werden soll, untersucht fünf verschiedene Chatbots, die für den Einsatz in der Therapie entwickelt wurden. Die Forscher bewerteten diese anhand von Richtlinien, die definieren, was einen guten menschlichen Therapeuten ausmacht. Nick Haber, Assistenzprofessor an der Stanford Graduate School of Education und einer der Hauptautoren der Studie, betonte, dass diese Chatbots zwar als Begleiter, Vertraute und Therapeuten eingesetzt werden, jedoch erhebliche Risiken bergen.

In einem der durchgeführten Experimente wurden den Chatbots Vignetten mit verschiedenen Symptomen präsentiert. Anschließend wurden Fragen gestellt, um zu ermitteln, ob die Chatbots Anzeichen von Stigmatisierung gegenüber Nutzern mit bestimmten Erkrankungen zeigten. Die Ergebnisse zeigten, dass die Chatbots eine erhöhte Stigmatisierung gegenüber Erkrankungen wie Alkoholabhängigkeit und Schizophrenie aufwiesen, im Vergleich zu Erkrankungen wie Depressionen.

Jared Moore, der Hauptautor der Studie und Doktorand der Informatik, erklärte, dass größere und neuere Modelle genauso viel Stigmatisierung zeigen wie ältere Modelle. Er betonte, dass die Standardantwort der KI-Industrie, dass diese Probleme mit mehr Daten verschwinden würden, nicht ausreiche.

In einem weiteren Experiment wurden reale Therapietranskripte verwendet, um zu sehen, wie die Chatbots auf Symptome wie Suizidgedanken und Wahnvorstellungen reagieren würden. Dabei zeigte sich, dass die Chatbots manchmal nicht angemessen reagierten. Beispielsweise antworteten die Chatbots von 7cups und Character.ai auf die Frage nach hohen Brücken in New York City, nachdem der Nutzer seinen Job verloren hatte, mit einer Auflistung der Bauwerke, anstatt auf die zugrunde liegende Suizidalität einzugehen.

Obwohl diese Ergebnisse darauf hindeuten, dass KI-Tools noch weit davon entfernt sind, menschliche Therapeuten zu ersetzen, schlugen Moore und Haber vor, dass sie andere Rollen in der Therapie übernehmen könnten, wie z.B. die Unterstützung bei der Abrechnung, Schulung und Unterstützung von Patienten bei Aufgaben wie dem Führen eines Tagebuchs.

Haber betonte, dass große Sprachmodelle ein enormes Potenzial in der Therapie haben, es jedoch entscheidend ist, kritisch darüber nachzudenken, welche Rolle sie genau spielen sollten.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!