Fehleranfälligkeit von KI-Chatbots bei medizinischen Ratschlägen

CAMBRIDGE / LONDON (IT BOLTWISE) – Die Nutzung von KI-Chatbots im medizinischen Bereich steht zunehmend in der Kritik, da eine aktuelle Studie des Massachusetts Institute of Technology (MIT) aufzeigt, dass diese Systeme bei der Verarbeitung von Patientenanfragen anfällig für Fehler sind, insbesondere wenn Schreibfehler oder informelle Sprache verwendet werden.

Die Integration von Künstlicher Intelligenz in den medizinischen Beratungsprozess verspricht eine Revolution in der Patientenversorgung. Doch eine neue Studie des Massachusetts Institute of Technology (MIT) wirft ein kritisches Licht auf die Zuverlässigkeit von KI-Chatbots, die zur Erteilung medizinischer Ratschläge eingesetzt werden. Die Forscher fanden heraus, dass diese Systeme besonders anfällig für Fehler sind, wenn sie mit Eingaben konfrontiert werden, die Schreibfehler oder informelle Sprache enthalten.

Die Untersuchung zeigt, dass KI-Chatbots, die auf der Verarbeitung natürlicher Sprache basieren, oft nicht in der Lage sind, die Intention hinter fehlerhaften oder umgangssprachlichen Anfragen korrekt zu interpretieren. Dies führt dazu, dass Patienten in vielen Fällen falsche Ratschläge erhalten, wie etwa die Empfehlung, bei ernsthaften Beschwerden zu Hause zu bleiben. Besonders auffällig ist, dass Frauen häufiger von diesen Fehlinterpretationen betroffen sind als Männer, was auf eine geschlechtsspezifische Verzerrung in den Algorithmen hindeutet.

Ein weiterer kritischer Punkt der Studie ist die Feststellung, dass die Chatbots oft mit Texten aus medizinischen Prüfungen trainiert werden, die sich stark von der alltäglichen Kommunikation unterscheiden. Dies führt zu einer Diskrepanz zwischen den Trainingsdaten und den realen Anfragen, die die Chatbots im Einsatz erreichen. Die Forscher betonen die Notwendigkeit, diese Systeme vor ihrem Einsatz in der Praxis strenger zu überprüfen, um die Sicherheit und Zuverlässigkeit der erteilten Ratschläge zu gewährleisten.

Die Auswirkungen dieser Erkenntnisse sind weitreichend. In einer Zeit, in der die Digitalisierung des Gesundheitswesens voranschreitet, könnte die unkritische Anwendung von KI-Chatbots ohne ausreichende Validierung zu ernsthaften gesundheitlichen Risiken führen. Experten fordern daher eine verstärkte Forschung und Entwicklung, um die Algorithmen zu verbessern und geschlechtsspezifische Verzerrungen zu minimieren.

Die Studie des MIT ist ein Weckruf für die Branche, die sich zunehmend auf KI-gestützte Lösungen verlässt. Es wird deutlich, dass die Technologie zwar großes Potenzial bietet, aber auch mit erheblichen Herausforderungen verbunden ist, die es zu bewältigen gilt. Die Forscher planen, ihre Untersuchungen fortzusetzen, um besser zu verstehen, wie KI mit der natürlichen Sprache verschiedener Bevölkerungsgruppen umgeht und wie sie geschlechtsspezifische Informationen verarbeitet.

Insgesamt zeigt die Studie, dass die Einführung von KI in der Medizin mit Bedacht erfolgen muss. Die Technologie kann zwar die Effizienz und Zugänglichkeit der Gesundheitsversorgung verbessern, doch ohne sorgfältige Prüfung und Anpassung an die realen Bedürfnisse der Patienten besteht die Gefahr, dass sie mehr Schaden als Nutzen bringt.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!