LONDON (IT BOLTWISE) – Eine Studie prüft fünf populäre KI-Chatbots auf medizinische Auskünfte in misinformationsträchtigen Themenfeldern und findet, dass fast die Hälfte der Antworten problematisch ist. Besonders kritisch: Ein Fünftel der Ausgaben gilt als hochgradig problematisch, häufig begleitet von hoher Selbstgewissheit trotz inhaltlicher Fehler. Hinzu kommen mangelhafte oder erfundene Quellenangaben sowie eine Lesbarkeit, die für die breite Öffentlichkeit zu schwierig ist. Für Unternehmen und Kliniken bedeutet das: Wer KI in Gesundheitsprozesse einbindet, braucht klare Qualitäts- und Aufsichtsschichten, bevor ein produktiver Rollout erfolgt.
Die Nutzung von KI-gestützten Chatbots im Gesundheitswesen ist längst kein Randphänomen mehr. Gerade weil große Sprachmodelle mit natürlicher Sprache wirken, werden sie in vielen Organisationen als schnelle Assistenz für Patientenkommunikation, Dokumentation und Wissensbereitstellung eingeplant. Eine aktuelle Prüfung zeigt jedoch, wie fragil der Nutzen wird, sobald Chatbots in Bereichen antworten sollen, in denen Fehl- oder Desinformationsmuster besonders häufig vorkommen. In einem Audit, das Alltagsfragen in fünf medizinischen Kategorien untersuchte, zeigte sich: Die Systeme liefern nicht nur gelegentlich ungenaue Formulierungen, sondern können plausibel klingende, sachlich falsche Empfehlungen ausgeben, die sich wie verlässliche Ratschläge lesen.
Im Kern basiert die Untersuchung auf der Idee, Antworten nicht unter idealen Laborbedingungen zu messen, sondern unter adversarialen Bedingungen: Die Fragestellungen sind so gestaltet, dass sie die Modelle in Richtung widersprüchlicher oder kontraindizierter Inhalte „ziehen“. Dazu präsentierten die Forschenden jedem System zehn Fragen über fünf Themenfelder hinweg, darunter Krebs, Impfungen, Stammzelltherapien, Ernährung sowie sportliche Leistungsfähigkeit. Insgesamt kamen pro Chatbot 50 Prompts zusammen, wobei sowohl geschlossene als auch offene Antwortformate genutzt wurden. Bewertet wurden unter anderem die Genauigkeit sowie Qualität, die Qualität der Referenzen und deren Vollständigkeit, aber auch sprachliche Komplexität und Lesbarkeit.
Die quantitativen Ergebnisse sind für die Praxis besonders relevant: Insgesamt waren 49,6% der Antworten problematisch. Davon entfielen 30% auf „eher problematische“ Ausgaben und 19,6% auf hochgradig problematische Antworten. Auffällig ist außerdem, dass sich die Antwortqualität über alle Systeme hinweg zwar nicht grundsätzlich stark unterscheidet, aber einzelne Modelle wie Grok deutlich häufiger „sehr problematische“ Antworten erzeugen, als es allein durch Zufall zu erwarten wäre. In den fünf Kategorien zeigte sich ein Muster: Am zuverlässigsten schnitten die Modelle bei Impfungen und Krebs ab, während Ernährung die größten Schwächen offenbarte. Danach folgten sportliche Leistungsfähigkeit und Stammzellen, also Bereiche, in denen individuelle Kontexte, Evidenzlage und Interaktionen schnell komplex werden.
Technisch betrachtet passt das Ergebnis zu den bekannten Grenzen von Large Language Models: Sie erzeugen Text über Wahrscheinlichkeiten im Tokenraum und versuchen, die sprachlich „passende“ Antwort zu finden, statt explizit medizinische Evidenzschichten konsistent abzubilden. Wenn das Modell keine belastbaren Datenquellen im Kontext hat, kann es zu Halluzinationen kommen – also zu Behauptungen, die semantisch plausibel wirken, aber nicht belegt sind. In der Studie wurde genau dieses Risiko sichtbar, weil selbst bei angefragten Quellenangaben keine vollständig korrekten Referenzlisten zustande kamen. Entscheidend ist dabei nicht nur die inhaltliche Ungenauigkeit, sondern der Effekt der Autoritätsanmutung: Viele Antworten sind mit hoher Sicherheit formuliert und enthalten kaum Zurückhaltung oder Ablehnung.
So wurden bei insgesamt 250 Fragen nur zwei Antworten verweigert. Das bedeutet: Für Nutzerinnen und Nutzer entsteht häufig der Eindruck, die Aussage sei medizinisch abgesichert, obwohl sie zugleich fehlerhaft oder unvollständig sein kann. Zusätzlich zeigt sich ein zweites, meist unterschätztes Problem der „Human Factors“: Die Ausgaben lagen durchgehend auf einem „schwierigen“ Leseniveau, das in etwa dem akademischen Level von College-Studierenden entspricht. Für Patientinnen und Patienten oder nicht fachkundige Mitarbeitende reduziert das die Verständlichkeit und kann die Gefahr erhöhen, dass kritische Einschränkungen übersehen werden. Gerade bei Gesundheitskommunikation ist aber nicht nur die inhaltliche Richtigkeit, sondern auch die adressatengerechte Form entscheidend.
Im Marktvergleich wird klar, dass das Risiko kein Einzelfall „eines Modells“ ist. Die geprüften Systeme stammten aus unterschiedlichen Ökosystemen und waren in mehreren Versionen verfügbar, darunter Google Gemini (2.0), DeepSeek (V3), Meta AI auf Basis von Llama 3.3, OpenAI ChatGPT (3.5) sowie xAI Grok (2). Trotz dieser Breite zeigt sich: Die Schwächen bei misinformationsträchtigen Gesundheitsfragen folgen offenbar einem gemeinsamen Muster großer Sprachmodelle, insbesondere wenn kein strenger Evidenzabgleich mit kuratierten Quellen erfolgt. Das ist relevant, weil viele Unternehmen Chatbots als „Allrounder“ einsetzen wollen, während Regulierung, Haftung und klinische Governance in der Praxis eine deutlich höhere Verlässlichkeit verlangen.
Auch historisch betrachtet ist die Spannung zwischen sprachlicher Flüssigkeit und faktischer Treue kein neues Thema. Bereits früher zeigten generative Systeme, dass Textkohärenz nicht automatisch Wahrheitskohärenz bedeutet. In den letzten Jahren kam es zwar zu Verbesserungen bei Instruktionen, Safety-Mechanismen und Modell-Tuning, doch die Studie macht deutlich, dass „Safety“ allein nicht genügt, wenn die Modelle inhaltlich trotzdem zu fehlerhaften Aussagen und erfundenen Quellen greifen können. Aus Expertenperspektive fasst das Ergebnis die Lücke zwischen Demonstrationsniveau und klinischer Einsatzreife zusammen: Laut den Autorinnen und Autoren schneiden die geprüften Chatbots „poorly“ bei Fragen in misinformationsträchtigen Gesundheits- und Medizinbereichen ab; eine weitere Ausspielung ohne Aufklärung und Aufsicht könne die Verbreitung von Misinformation verstärken.
Für die Umsetzung in Unternehmen und im Gesundheitsumfeld folgt daraus eine klare Architektur-Logik. Erstens sollten Ausgaben mit Evidenzpfaden verknüpft werden, statt allein auf generativem Output zu setzen: Retrieval-augmented Ansätze können beispielsweise eine kontrollierte Wissensbasis ergänzen, während Guardrails bei unsicheren Fällen mit expliziten Rückfragen, Facharzt-Eskalation oder kuratierten Dokumentationen reagieren müssen. Zweitens braucht es Qualitätsmessung in der Produktionsumgebung, nicht nur im Labor: Monitoring von Antwortqualität, Fehlerkategorien und Quellenverlässlichkeit muss Teil des MLOps sein. Drittens ist Lesbarkeit ein Produktziel: Wenn der Output eine Zielgruppe nicht versteht, steigt das Risiko falscher Interpretation und damit auch regulatorisch relevanter Fehlkommunikation.
Regulatorisch und datenschutzrechtlich verschärft sich das Bild zusätzlich. Medizinische Kontexte berühren häufig besondere Schutzbedarfe, und je nach Nutzungsszenario können personenbezogene Gesundheitsdaten involviert sein. In der Praxis müssen deshalb sowohl die Datenseite (Zugriffs- und Löschkonzepte, Logging, Rollenrechte) als auch die Output-Seite (Haftungsfragen, nachvollziehbare Evidenz, transparente Grenzen) sauber designt werden. Auch die Frage, wie und ob Patienteninformationen automatisiert beantwortet werden, sollte klar in Compliance-Prozesse integriert werden, statt auf „best effort“ zu vertrauen. Gerade weil die Studie zeigt, dass nur sehr wenige Antworten verweigert wurden, ist ein automatisches „Nicht Antworten“ in Risiko-Fällen ein zentraler Baustein für Governance.
Der Blick nach vorn fällt dennoch nicht rein negativ aus. Die Forschenden weisen darauf hin, dass Modell- und Tuning-Iterationen fortlaufend stattfinden und spätere Studien zu abweichenden Resultaten führen könnten. Gleichzeitig deutet das Ergebnis auf eine Roadmap hin: Modellverbesserungen allein reichen vermutlich nicht; es braucht konsequente Qualitäts- und Evidenzschichten, harte Testsets gegen misinformationsträchtige Muster und eine klare Produktstrategie für Zielgruppenkommunikation. Für Entwicklerinnen und Entwickler eröffnen sich dabei konkrete Chancen: Wer KI-gestützte Systeme in der Medizin verantwortet, kann mit sauberen Prüfmechanismen, Traceability und adressatengerechtem Output künftig messbar bessere Nutzerergebnisse erzielen. Die zentrale Implikation bleibt: Sobald ein Chatbot als medizinischer Ratgeber wirkt, muss seine Verlässlichkeit wie ein sicherheitskritisches Softwaresystem behandelt werden.
Als wissenschaftliche Grundlage wird in der Studie unter anderem folgende Veröffentlichung referenziert: BMJ Open, „Generative artificial intelligence-driven chatbots and medical misinformation: an accuracy, referencing and readability audit,“ verfasst von Nicholas B. Tiller und Kolleginnen und Kollegen. Damit liegt ein methodisch greifbarer Anker vor, der in zukünftigen Audits als Vergleichsrahmen dienen kann, um Fortschritte bei Genauigkeit, Quellenqualität und Lesbarkeit systematisch nachzuweisen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- NIEDLICHER BEGLEITER: Eilik ist der ideale Begleiter für Kinder und Erwachsene, die Haustiere, Spiele und intelligente Roboter lieben. Mit vielen Emotionen, Bewegungen und interaktiven Funktionen.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI-Chatbots scheitern am Medizin-Misinformationstest: Hohe Fehlerquote und Halluzinationen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI-Chatbots scheitern am Medizin-Misinformationstest: Hohe Fehlerquote und Halluzinationen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI-Chatbots scheitern am Medizin-Misinformationstest: Hohe Fehlerquote und Halluzinationen« bei Google Deutschland suchen, bei Bing oder Google News!