OpenAI’s KI-Modelle übertreffen ärztliche Antworten in HealthBench-Tests

MÜNCHEN (IT BOLTWISE) – OpenAI hat kürzlich einen neuen Bewertungsstandard für KI-Systeme im Gesundheitswesen vorgestellt, der die Leistungsfähigkeit von KI-Modellen in medizinischen Gesprächen auf die Probe stellt.

OpenAI hat mit HealthBench einen neuen Maßstab für die Bewertung von KI-Systemen im Gesundheitswesen eingeführt. Dieser Test soll die Fähigkeit von KI-Modellen, realitätsnahe medizinische Gespräche zu führen, systematisch bewerten. Laut OpenAI erzielen die neuesten Sprachmodelle des Unternehmens, darunter GPT-4.1 und das Reasoning-Modell o3, in diesen Tests bessere Ergebnisse als die Antworten von Ärzten.

Die bisherigen Tests für medizinische KI-Systeme hatten laut OpenAI erhebliche Schwächen, da sie reale Gesprächssituationen nur unzureichend abbildeten und nicht ausreichend von medizinischen Experten geprüft wurden. HealthBench hingegen wurde von 262 Ärzten aus 60 Ländern entwickelt, die 5.000 medizinische Gesprächsszenarien in 26 Fachgebieten und 49 Sprachen erstellten.

Der Test prüft sieben medizinische Bereiche, von der Notfallmedizin bis zu globalen Gesundheitsfragen. Ein KI-gestütztes Bewertungssystem analysiert die Antworten nach fünf Kriterien: Kommunikationsqualität, Befolgung der Instruktion, Genauigkeit, Kontextbewusstsein und Vollständigkeit. Insgesamt kommen 48.000 Einzelkriterien zum Einsatz, die auf medizinischer Expertise basieren.

Die Bewertung erfolgt durch ein KI-Modell, das die Erfüllung vorgegebener Kriterien prüft. Um die Zuverlässigkeit dieses automatisierten Bewertungssystems zu validieren, verglich OpenAI dessen Urteile mit Bewertungen durch Ärzte. Dabei zeigte sich, dass die Übereinstimmung zwischen dem KI-Bewerter und den Ärzten ähnlich hoch war wie die Übereinstimmung zwischen verschiedenen Ärzten untereinander.

OpenAI betont jedoch, dass die Ergebnisse differenziert betrachtet werden müssen. Das Verfassen von Chat-Antworten auf medizinische Fragen gehört nicht zu den üblichen Aufgaben von Medizinern, weshalb ein direkter Vergleich zwischen KI-Systemen und ärztlichem Personal in diesem spezifischen Kontext nur begrenzt aussagekräftig ist.

Die Testergebnisse zeigen primär die Fähigkeiten der KI-Modelle in einer sehr spezifischen Aufgabenstellung und lassen keine unmittelbaren Rückschlüsse auf die Gesamtqualität medizinischer Versorgung durch Menschen oder KI zu. OpenAI berichtet von deutlichen Verbesserungen seiner Modelle im HealthBench-Test. Das neue Modell o3 erreicht etwa doppelt so hohe Bewertungen wie sein Vorgänger GPT-4o.

In einer ersten Testreihe konnten Mediziner die Antworten älterer KI-Modelle noch verbessern, wenn sie diese als Ausgangspunkt für ihre eigenen Antworten nutzten. In einer zweiten Testreihe mit den neueren Modellen änderte sich das Bild: Die Antworten der Ärzte erreichten keine besseren Bewertungen mehr als die KI-Systeme allein.

Gerade im Gesundheitswesen ist die Zuverlässigkeit von Modellen entscheidend. HealthBench prüft daher auch die Zuverlässigkeit der Modelle im schlechtesten Fall. Die neuesten Modelle zeigen hier ebenfalls deutliche Verbesserungen, auch wenn laut OpenAI noch Raum für Fortschritte besteht.

Ein weiterer Schwerpunkt liegt auf der Effizienz. Das kompakte Modell GPT-4.1 nano arbeitet laut OpenAI 25-mal kostengünstiger als sein Vorgänger GPT-4o – bei gleichzeitig besserer Leistung. Dies könnte den Einsatz in Regionen mit begrenzten Ressourcen erleichtern.

Mit zwei Zusatzdatensätzen will OpenAI zudem eine Grundlage für besonders zuverlässige und besonders schwierige Testszenarien schaffen. OpenAI hat alle Testdaten und Bewertungsmethoden von HealthBench auf GitHub veröffentlicht und lädt die Forschungsgemeinschaft ein, den Benchmark zu nutzen und weiterzuentwickeln.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!