KI-Modelle in der Medizin: Herausforderungen bei der Bildanalyse

MAINZ / LONDON (IT BOLTWISE) – Die Integration von Künstlicher Intelligenz in die medizinische Bildanalyse verspricht erhebliche Fortschritte, doch aktuelle Untersuchungen zeigen, dass diese Technologie auch anfällig für Fehler ist, wenn sie mit irreführenden Textinformationen konfrontiert wird.

Die Anwendung von Künstlicher Intelligenz in der medizinischen Bildanalyse hat das Potenzial, die Diagnoseprozesse erheblich zu verbessern. Doch eine aktuelle Studie der Universitätsmedizin Mainz zeigt, dass KI-Modelle, die sowohl Bild- als auch Textinformationen verarbeiten, anfällig für sogenannte ‘Prompt Injections’ sind. Diese können die Genauigkeit der Modelle drastisch beeinträchtigen, wenn irreführende oder falsche Textinformationen hinzugefügt werden.

In der Studie wurden pathologische Bilder mit handschriftlichen Notizen und Wasserzeichen versehen, um die Reaktion der KI-Modelle zu testen. Die Ergebnisse waren alarmierend: Während die Modelle bei korrekten Beschriftungen nahezu fehlerfrei arbeiteten, sank die Genauigkeit bei falschen oder irreführenden Texten auf nahezu null Prozent. Dies zeigt, wie stark die Modelle von den Textinformationen beeinflusst werden können.

Besonders betroffen sind Modelle, die an Text- und Bildinformationen gleichzeitig trainiert wurden. Sebastian Försch, Leiter der AG Digitale Pathologie und Künstliche Intelligenz, erklärt, dass diese Modelle bei der Präsentation von Röntgenbildern mit irreführenden Texten signifikant weniger Tumore erkennen. Dies stellt eine erhebliche Herausforderung für die klinische Anwendung dar, insbesondere bei der Untersuchung von Gewebeproben, die oft mit handschriftlichen Vermerken versehen sind.

Die Forscher fanden heraus, dass die KI-Modelle das antrainierte Wissen ignorieren, sobald zusätzliche Textinformationen auf den Bildern vorhanden sind. Dies gilt unabhängig davon, ob die Informationen korrekt oder irreführend sind. Diese Erkenntnis unterstreicht die Notwendigkeit, die Modelle so zu trainieren, dass sie weniger anfällig für solche Störungen sind.

Ein möglicher Lösungsansatz könnte die Entwicklung speziell trainierter KI-Modelle sein, die weniger fehleranfällig auf ergänzende Textinformationen reagieren. Die Universitätsmedizin Mainz arbeitet derzeit an einem spezifischen ‘Pathology Foundation Model’, das diese Herausforderungen adressieren soll. Die Forscher betonen die Wichtigkeit, dass KI-generierte Ergebnisse immer von medizinischen Experten überprüft werden sollten, bevor sie in klinischen Entscheidungen berücksichtigt werden.

Die Untersuchung zeigt auch, wie beeindruckend gut allgemeine KI-Modelle, wie etwa ChatGPT, mikroskopische Schnittbilder beurteilen können, obwohl sie dafür nicht explizit trainiert wurden. Dennoch ist es entscheidend, die Risiken durch irreführende Textinformationen zu minimieren, um die Sicherheit und Zuverlässigkeit der Modelle in der klinischen Praxis zu gewährleisten.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!