94,9 Prozent im Test, unter 34,5 Prozent mit Nutzer: Das Problem der KI-Symptomchecker sitzt vor dem Bildschirm

Die Zahl klingt nach Entwarnung: Wenn man ein großes Sprachmodell eine medizinische Fallgeschichte lesen lässt, nennt es in 94,9 Prozent der Fälle die richtige Erkrankung. Setzt man aber echte Menschen davor, die dem Modell ihre Beschwerden schildern und dann entscheiden sollen, sinkt der Wert auf unter 34,5 Prozent. So steht es in einer vorregistrierten Studie mit 1.298 Teilnehmenden, die 2026 in Nature Medicine erschienen ist. Das ist verblüffend nah an dem, was Symptomchecker schon 2015 erreichten: 34 Prozent richtige Erstdiagnosen. Zwischen beiden Werten liegt ein Jahrzehnt technischer Entwicklung, aber der Flaschenhals ist offenbar derselbe geblieben.

Unser Befund aus der Gegenüberstellung der Studien: Die Frage “Wie genau ist die KI?” ist die falsche. Entscheidend ist, wie genau das Gesamtsystem aus Modell, Eingabe und Leser ist. Und dieser Wert liegt deutlich unter dem, was das Modell allein vorführt.

Was 2015 gemessen wurde, und warum es noch zählt

Die Basis ist eine Audit-Studie im BMJ von 2015. Das Team prüfte 23 frei verfügbare, englischsprachige Symptomchecker mit 45 standardisierten Fallvignetten. Je ein Drittel der Fälle war ein Notfall (etwa eine Lungenembolie), ein Fall für die normale Sprechstunde (etwa eine Mittelohrentzündung) oder ein Fall für Selbstbehandlung (etwa ein grippaler Infekt). Aus 770 Auswertungen mit Diagnoseliste ergab sich: Die richtige Diagnose stand in 34 Prozent der Fälle an erster Stelle und in 58 Prozent innerhalb der ersten 20 Nennungen. Die Differenz von 24 Prozentpunkten sagt: Wer nur die Hitliste liest, sieht die richtige Antwort oft gar nicht oder muss sie selbst herausfiltern.

Bei der Dringlichkeit, ausgewertet an 532 Bewertungen, lag die Trefferquote insgesamt bei 57 Prozent. Spannend ist die Aufschlüsselung:

Das Verhältnis von Notfall zu Selbstbehandlung beträgt 80 zu 33, also rund 2,4 zu 1. Die Systeme waren dort am besten, wo ein Irrtum am gefährlichsten ist. Bei harmlosen Beschwerden rieten sie dagegen in zwei von drei Fällen nicht zur Selbstbehandlung. Die Autoren beschreiben das als risikoscheu: Die Tools schicken Menschen eher zum Arzt, als sie zu beruhigen. Für die Sicherheit des Einzelnen ist das nachvollziehbar, für überfüllte Praxen und Notaufnahmen eher nicht. Außerdem schwankte die Qualität stark. Über die 23 Anbieter reichte die Quote angemessener Empfehlungen von 33 bis 78 Prozent, ein Faktor von etwa 2,4 zwischen dem schwächsten und dem stärksten Produkt.

Sieben Jahre später: Wenig besser, vor allem uneinheitlich

Ein systematischer Review in npj Digital Medicine (2022) fasste die Lage zusammen. Von 177 gefundenen Studien erfüllten nur 10 die Einschlusskriterien, die Hälfte davon arbeitete mit echten Patientinnen und Patienten, die andere mit simulierten Fällen. Die Genauigkeit der Hauptdiagnose lag zwischen 19 und 37,9 Prozent, die Triage-Genauigkeit zwischen 48,8 und 90,1 Prozent. Die Autoren halten das für variabel und niedrig und warnen, dass die Verlässlichkeit auf solche Werkzeuge ein Risiko für die Patientensicherheit sein könne. Auffällig ist auch, was fehlt: Für ein Feld, das viele Menschen nutzen, bleiben zehn belastbare Studien übrig. Das sagt etwas über die Beweislage, nicht nur über die Technik.

Die nächste Etappe ist ein Review aus 2025, der erstmals Symptom-Apps, Sprachmodelle und Laien nebeneinanderstellt. Er wertete 19 von 1.549 geprüften Studien aus. Die Selbsteinschätzung, ob und wo man Hilfe suchen sollte, traf bei den Apps zwischen 11,5 und 90,0 Prozent, bei den Sprachmodellen zwischen 57,8 und 76,0 Prozent, bei Laien zwischen 47,3 und 62,4 Prozent.

Rechnet man die Spannweiten aus, zeigt sich ein Muster, das in den Schlagzeilen untergeht:

Apps: 78,5 Prozentpunkte Spannweite

Sprachmodelle: 18,2 Prozentpunkte

Laien: 15,1 Prozentpunkte

Die Modelle sind im Mittel nicht spektakulär besser als die Laien, aber sie sind berechenbarer als die Apps. Die Autoren ziehen daraus keinen Sieger: Nach ihrer Einschätzung sollten weder Apps noch Sprachmodelle pauschal empfohlen oder abgelehnt werden, es komme auf Anwendungsfall und Nutzergruppe an. Dieser Satz ist unspektakulär und genau deshalb glaubwürdig.

Das Labor-Ergebnis überlebt den Nutzer nicht

Die Nature-Medicine-Studie von 2026 setzte 1.298 Menschen vor zehn medizinische Szenarien. Sie bekamen entweder Hilfe von einem Sprachmodell (GPT-4o, Llama 3 oder Command R+) oder nutzten eine Quelle ihrer Wahl, die Kontrollgruppe. Die Modelle allein erkannten die zugrunde liegende Erkrankung in 94,9 Prozent der Fälle und die richtige Handlungsempfehlung in durchschnittlich 56,3 Prozent. Mit Menschen dazwischen sank die Erkennung auf unter 34,5 Prozent und die Handlungsempfehlung auf unter 44,2 Prozent, beides nicht besser als in der Kontrollgruppe.

Unsere Rechnung dazu: Bei der Erkrankung gehen mindestens 60,4 Prozentpunkte verloren (94,9 minus 34,5), das Modell allein ist also mindestens 2,75-mal so treffsicher wie Modell plus Mensch. Bei der Handlungsempfehlung fällt der Verlust mit mindestens 12,1 Prozentpunkten kleiner aus (56,3 minus 44,2), aber er beginnt auf einem ohnehin niedrigen Niveau. Beide Abstände sind Untergrenzen, weil die Studie nur “weniger als” angibt.

Zwei Dinge fallen auf. Erstens ist die Handlungsempfehlung, also die Entscheidung, die im Alltag zählt, schon beim Modell allein deutlich schlechter als die Erkennung der Krankheit. Zweitens hatte das Modell in der Studie das richtige Wissen und die Nutzer haben es offenbar nicht abgeholt. Die Autoren sehen die Interaktion als Problem und halten fest, dass gängige Benchmarks mit Wissensfragen oder simulierten Gesprächen die Fehler mit echten Menschen nicht vorhersagen. Auf Wissensbenchmarks mit medizinischen Prüfungsfragen schneiden die Systeme dagegen sehr gut ab. Ein Test, der wie ein Staatsexamen aussieht, misst also nicht, was passiert, wenn eine Person mit Rückenschmerzen und Sorge am Abend tippt.

Eine plausible Antwort ist kein Befund

Hier liegt der Kern für ein IT-Publikum. Ein Sprachmodell optimiert auf eine sprachlich stimmige Fortsetzung, nicht auf eine überprüfbare Aussage. Antworten klingen deshalb gleich selbstsicher, egal ob sie stimmen. Bei einem Fahrplanauskunftsdienst ist das ein Ärgernis. Bei Beschwerden, die eine Untersuchung brauchen, ist es ein Risiko, denn eine ärztliche Anamnese besteht aus Nachfragen, körperlichem Befund und Verlaufsbeobachtung. Eine App kann Symptome in Sekunden sortieren. Sie sieht aber weder die Hautfarbe noch hört sie die Atmung, und sie weiß nur, was die Nutzerin eintippt. Die Studienergebnisse passen zu diesem Bild: Die Fehlerquote hängt von Eingaben, Fall und Nutzer ab, nicht nur vom Modell.

Auch die Regulierung zieht eine Linie. Nach Regel 11 im Anhang VIII der Medizinprodukteverordnung (MDR) gehört Software, die Informationen für diagnostische oder therapeutische Entscheidungen liefert, grundsätzlich zur Klasse IIa. Können die Entscheidungen eine schwerwiegende Verschlechterung oder einen chirurgischen Eingriff verursachen, gilt Klasse IIb, bei Tod oder irreversibler Verschlechterung Klasse III. Wer ein Produkt ausdrücklich für diagnostische Zwecke anbietet, braucht also ein Konformitätsverfahren. Ein allgemeiner Chatbot, dessen Hersteller keinen medizinischen Zweck erklärt, fällt je nach Zweckbestimmung womöglich nicht darunter, auch wenn Menschen ihn genau dafür verwenden. Die digitalen Gesundheitsanwendungen im Verzeichnis des BfArM zeigen den anderen Pfad: Eine DiGA ist laut BfArM ein CE-gekennzeichnetes Medizinprodukt der Risikoklasse I oder IIa. Dieser Weg ist aufwendiger, aber er schafft das, was der Chatbot nicht liefert: Prüfbarkeit.

Was diese Zahlen nicht sagen

Die Studien sind schwer vergleichbar. Das BMJ-Team testete 2015 englischsprachige Online-Tools, die Nature-Medicine-Studie dagegen Sprachmodelle, jeweils mit anderen Fällen und anderen Messgrößen. Wenn wir 34 Prozent und unter 34,5 Prozent nebeneinanderstellen, ist das ein Hinweis auf ein Muster und kein Beleg für Stillstand: Die eine Zahl ist eine Erstdiagnose durch Software, die andere die Erkennung einer relevanten Erkrankung durch Laien mit Software. Fallvignetten sind außerdem keine echten Patienten. Im Review von 2022 arbeitete die Hälfte der Studien mit simulierten Fällen, die Nature-Medicine-Studie nutzte zehn Szenarien. Neuere Modelle können besser abschneiden als die getesteten, und die Spannweiten im Review von 2025 zeigen, wie breit die Ergebnisse streuen. Es gibt in diesen Daten keine Aussage, wie viele Menschen durch einen Symptomchecker zu Schaden gekommen sind oder wie viele zu Recht Entwarnung bekamen. Die Studien messen Treffer in Testfällen, nicht Gesundheitsfolgen.

Wie man die Werkzeuge vernünftig benutzt

Aus den Zahlen folgen keine Verbote, aber ein paar nüchterne Gewohnheiten.

Die Antwort als Hypothese behandeln. Wer beschreibt, was er hat, bekommt eine plausible Liste, aber noch keinen Befund. Dass die richtige Diagnose 2015 in 58 Prozent der Fälle irgendwo unter den ersten 20 stand, aber nur in 34 Prozent an erster Stelle, zeigt, wie viel Auswahl beim Leser bleibt.

Die eigene Frage aufschreiben, bevor man tippt: Seit wann, wie stark, was hat sich verändert, welche Vorerkrankungen und Medikamente? Die Nature-Medicine-Studie legt nahe, dass die Verluste im Dialog entstehen, nicht im Wissen des Modells.

Bei Warnzeichen wie plötzlichen starken Schmerzen, Atemnot oder Lähmungen nicht erst nachfragen, sondern den Notruf oder den ärztlichen Bereitschaftsdienst nutzen. Der Notfall ist in der BMJ-Studie die Kategorie mit der besten Trefferquote, aber auch dort lag sie bei 80 Prozent, also bei jedem fünften Notfall daneben.

Sensible Gesundheitsdaten nicht unbedacht in öffentliche Chatbots eingeben. Wer das tut, sollte vorher klären, wo die Angaben verarbeitet werden.

Die Ergebnisse zum Arzt mitnehmen, statt sie dort zu verteidigen. Eine Liste möglicher Ursachen kann ein gutes Gesprächsangebot sein, wenn sie nicht als Gegenmeinung auftritt.

Für Entwickler und Anbieter folgt daraus eine unbequeme Verschiebung: Gemessen werden sollte nicht nur, was das Modell weiß, sondern was Nutzer damit tun, mit echten Menschen und vorab festgelegten Endpunkten. Die Studie von 2026 liefert dafür das Muster. Wer für die letzte Meile zur Entscheidung eine menschliche Prüfung vorsieht, hat damit auch einen Test, der sich nicht mit Wissensfragen bestehen lässt. Ein Beispiel für den umgekehrten Weg, bei dem Ärztinnen und Ärzte die Angaben prüfen und entscheiden, ist die Telemedizin-Plattform Doktorfy. Für Nutzer, die vorab verlässliche Informationen suchen, bietet gesund.bund.de geprüfte Gesundheitsinformationen, und bei der Frage, ob Beschwerden warten können, hilft der ärztliche Bereitschaftsdienst unter der 116117.