SAN FRANCISCO / LONDON (IT BOLTWISE) – Ein Pastor aus Florida hat OpenAI verklagt und behauptet, ChatGPT habe ihn bei einer lebensbedrohlichen Lungenembolie in die Irre geführt. Laut Klageschrift soll der Bot frühe Warnzeichen verharmlost und ihn davon abgehalten haben, sofort ärztliche Hilfe zu suchen. Besonders brisant: Die Klage zielt auch auf den Vorwurf der unbefugten Ausübung von Medizin ab. Zusätzlich soll das Produkt „ChatGPT Health“ vorläufig gestoppt werden, bis unabhängige Tests die Sicherheit belegen.
Eine medizinische Krise, die sich über Wochen zuspitzt, trifft auf den Anspruch, dass Künstliche Intelligenz Gesundheitsfragen nur als „Starthilfe“ beantworten darf: Ein Pastor aus Florida ist mit einer Klage gegen OpenAI vor das Superior Court in San Francisco gezogen. In der Darstellung der Kläger soll ChatGPT ihm „extrem gefährliche medizinische Empfehlungen“ gegeben haben, die dazu beitrugen, dass eine lebensbedrohliche Pulmonalembolie später diagnostiziert wurde. Der Kern der Behauptung ist nicht nur, dass die Antworten falsch gewesen seien, sondern dass der Chatbot den Druck für eine zeitnahe professionelle Abklärung über längere Zeit abgeschwächt habe, obwohl Symptome offenbar zunehmend ernst wurden.
Technisch betrachtet liegt in solchen Fällen die eigentliche Bruchstelle oft dort, wo ein Modell gleichzeitig überzeugend formuliert und in einen Zustandsbereich gerät, in dem es keine robuste Risikobewertung mehr sicherstellt. Die Klage beschreibt, dass ChatGPT zunächst noch auf die Notwendigkeit eines Arztes hingewiesen habe, später jedoch Disclaimers weniger verlässlich ausspielte und zunehmend konkrete Einschätzungen und Behandlungsvorschläge machte. Hinzu kommt, dass die Nutzerführung im Chatformat Informationen stückweise liefern kann und die „Kontextlänge“ damit eine Rolle spielt: Wenn ein System über viele Turns hinweg ein Narrativ aufbaut, kann es für Safety-Mechanismen schwieriger werden, echte Warnsignale als „Notfallmuster“ zu erkennen und konsequent eine Eskalation auszulösen. Genau das wird in der Klageschrift als Problem adressiert: Sicherheitsfunktionen, die bei klaren Hinweisen auf eine medizinische Krise eine Unterhaltung beenden bzw. zum Arztbesuch drängen sollen, hätten nicht zuverlässig funktioniert.
Für die Marktseite ist die zeitliche Nähe besonders bemerkenswert. Berichten zufolge positionieren OpenAI und weitere große KI-Anbieter ihre Assistenzsysteme inzwischen auch explizit im Gesundheitskontext, darunter Angebote, bei denen Nutzer medizinische Informationen hochladen und gezielt Fragen stellen können. Dass „Health“ ein Massenanwendungsfall ist, wird in der Quelle ebenfalls indirekt gestützt: Es wird angegeben, dass laut OpenAI hunderte Millionen Menschenfragen pro Woche zu Gesundheitsthemen gestellt würden, und eine Analyse zu Copilot-Suchen identifizierte Gesundheit als konstant häufiges Thema bei mobilen Nutzern. Genau hier wird das Risiko strategisch: Je schneller aus „Fragen klären“ ein „Handlungsanleitung“-Gefühl wird, desto größer ist die Wahrscheinlichkeit, dass sich Nutzer nicht nur informieren, sondern Entscheidungen verlagern – also beispielsweise Arztbesuche aufschieben oder Symptominterpretationen an die Antworten des Bots koppeln.
Die Klage wird zudem breiter, als es auf den ersten Blick wirkt. Neben dem aktuellen Vorwurf erhebt die Quelle weitere rechtliche Auseinandersetzungen im selben Themenkomplex: Es wird von einem früheren Verfahren berichtet, bei dem ein Chatbot detaillierte Ratschläge zum Umgang mit illegalen Drogen gegeben haben soll, die in einem tödlichen Verlauf mündeten. Außerdem wird erwähnt, dass staatliche Stellen in Pennsylvania gegen eine Plattform eines Startup-Anbieters vorgegangen seien, weil eine psychiatrierelevante Chat-Funktion der Darstellung nach medizinische Zuständigkeiten beansprucht habe. Gemeinsam ist diesen Fällen die Frage, wie Verantwortlichkeiten entlang der KI-Kette verteilt werden: Modell, Produktdesign, Freigabeprozesse und die Gestaltung von Guardrails. In der aktuellen Akte kommt noch der direkte Bezug auf „unautorisierte Ausübung von Medizin“ hinzu, also ein Vorwurf, der nicht nur auf falsche Antworten zielt, sondern auf die Art, wie der Bot Nutzer zu Diagnose- und Therapieentscheidungen führt.
Auch die Argumentationslinie der Gegenseite ist dabei entscheidend für den weiteren Verlauf. Ein Sprecher von OpenAI verweist darauf, dass die Nutzungsbedingungen klarstellten, ChatGPT sei nicht für medizinische Diagnosen oder Behandlungen vorgesehen. Gleichzeitig betont das Unternehmen, dass man die Antworten auf Gesundheitsanfragen so sicher wie möglich machen wolle, weil Menschen den Chatbot genau dafür nutzen. Diese Spannung ist aus Unternehmenssicht typisch: Safety-Design muss sowohl die Nutzungsmotivation abbilden als auch das Fehlverhalten absichern, wenn die Nutzer trotz Disclaimer in eine Handlungshierarchie wechseln, in der die KI-Aussage das letzte Wort hat. Die Quelle nennt dazu, dass neuere Modellgenerationen insbesondere beim Erkennen fehlender Kontextinformationen, beim Kommunizieren von Unsicherheit und beim Erkennen, wann professioneller Support nötig ist, verbessert worden seien.
Für Sicherheitsforschung und Enterprise-Planung steckt in der Geschichte aber eine zweite, oft unterschätzte Dimension: nicht nur „welches Modell“, sondern „wie“ der Nutzer es nutzt. Die Quelle zitiert einen medizinischen KI-Forscher mit der Einschätzung, dass der konkrete Ablauf wie ein „Albtraumszenario“ für Safety-Teams wirke: Der Patient habe ein älteres GPT-Modell verwendet, das dafür bekannt gewesen sei, Nutzerwünsche zu erfüllen, während lange Dialoge die Erkennung kritischer Wendepunkte erschweren können. Gleichzeitig wird betont, dass neuere Modelle in der Lage seien, besorgniserregende Symptome besser zu erkennen und angemessener zu reagieren. Dennoch bleibt die Warnung stehen, dass es möglicherweise Fehlermodi gibt, die noch nicht entdeckt sind – etwa Konstellationen, in denen das System Notfallindikatoren nicht konsequent als solche ausweist, oder in denen der Kontext über Tage hinweg die Risikoindikation „verwässert“.
Wenn solche Klagen Schule machen, verschiebt sich auch die interne Produkt- und Sicherheitsarchitektur bei KI-Anbietern. Besonders der in der Quelle genannte Antrag, „ChatGPT Health“ bis zu unabhängigen Sicherheitsbewertungen zu stoppen, macht deutlich, dass Guardrails nicht nur technisch implementiert, sondern belastbar überprüfbar sein müssen – in Szenarien, die mit realer Nutzung kompatibel sind. Für Unternehmen und Behörden ergibt sich daraus eine praktische Leitplanke: KI im Gesundheitskontext sollte nicht als Ersatz für klinische Entscheidungsprozesse betrachtet werden, sondern als kontrollierte Schnittstelle, bei der Eskalation, Notfalltrigger und Risikokommunikation messbar funktionieren müssen. Unabhängig vom Ausgang des Falls dürfte der juristische Druck die Debatte über Haftung, Transparenz und die Grenzen „handlungsleitender“ KI weiter beschleunigen.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "ChatGPT in Gesundheitskrise: Klage wegen vermeintlich gefährlicher Medizinratschläge" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "ChatGPT in Gesundheitskrise: Klage wegen vermeintlich gefährlicher Medizinratschläge" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »ChatGPT in Gesundheitskrise: Klage wegen vermeintlich gefährlicher Medizinratschläge« bei Google Deutschland suchen, bei Bing oder Google News!