SAN FRANCISCO / LONDON (IT BOLTWISE) – In einer Klage vor dem Superior Court of California in San Francisco wird OpenAI dafür verantwortlich gemacht, dass medizinische Warnzeichen über einen Chatbot zu lange ignoriert worden seien. Der Kläger behauptet, ChatGPT habe seine Beschwerden wiederholt als ungefährlich eingeordnet und ihn so davon abgehalten, rechtzeitig ärztliche Hilfe zu suchen. Als Folge habe sich eine lebensbedrohliche Lungenembolie entwickelt. OpenAI weist die Vorwürfe zurück und verweist auf klare Nutzungsregeln sowie Verbesserungen moderner KI-Modelle bei Unsicherheiten und Eskalationssignalen.
Die Klage gegen OpenAI rund um ChatGPT Health nimmt im Gesundheitskontext eine besondere Schärfe an: Es geht nicht um abstrakte Fehlannahmen, sondern um die Behauptung, ein Chatbot habe im konkreten Gespräch eine potenziell ernsthafte Lage verharmlost. Laut der Klageschrift wandte sich Scott Winters an das System mit Symptomen, die aus seiner Sicht auf eine schwerwiegende Erkrankung hindeuteten. Statt zur schnellen medizinischen Abklärung zu führen, sei das Gespräch nach seiner Darstellung in eine Richtung gelenkt worden, die den Gang zum Arzt verzögert haben soll.
Im Kern beschreibt die Klage eine Kette aus wiederholtem Ignorieren von Warnsignalen und fehlender Eskalation. Winters argumentiert, das System habe seine Beschwerden wiederholt als „nichts Gefährliches“ eingeordnet und ihn zusätzlich davon abgehalten, auf Ratschläge aus dem Umfeld zu hören, das dringend zu einem Arztbesuch geraten habe. Besonders kritisch wirkt dabei der Vorwurf, dass ChatGPT nicht nur Unsicherheit ausgewiesen, sondern zugleich eine Art Sicherheitsgefühl vermittelt habe, obwohl die geschilderte Symptomatik nach Auffassung des Klägers eine sofortige ärztliche Abklärung erfordert hätte. Als Folge wird geschildert, dass sich die Beschwerden in eine lebensbedrohliche Lungenembolie verwandelt hätten.
Technisch zielt der Streit damit auf die Frage, wie KI-gestützte Assistenzsysteme in medizinisch relevanten Gesprächen Grenzen setzen. Anbieter solcher Chatbots bauen in der Regel Schutzmechanismen ein, die bei medizinischen Warnsignalen zu Rückfragen, zu Hinweisen auf professionelle Hilfe oder zum Abbruch problematischer Pfade führen sollen. Genau diese Logik wird in der Klage angegriffen: Winters meint, dass die vorgesehenen Sicherheitsvorkehrungen im konkreten Fall nicht gegriffen hätten. Dazu passt auch die Forderung, ChatGPT Health vorläufig zu stoppen, bis unabhängige Prüfer die Sicherheit bestätigt haben, sowie strengere technische Schutzmaßnahmen einzuführen, die verhindern sollen, dass das System Diagnosen stellt oder konkrete Behandlungsempfehlungen ausspricht.
OpenAI widerspricht dem entschieden. Unternehmenssprecher Drew Pusateri verweist darauf, dass die Nutzung von ChatGPT in den geltenden Bedingungen klar geregelt sei: Der Dienst sei nicht für medizinische Diagnosen oder Behandlungen gedacht. Gleichzeitig nimmt OpenAI die Sicherheitsdimension laut Darstellung ernst und argumentiert, dass Gesundheitsfragen dennoch sicher beantwortet werden müssten, weil viele Menschen den Chatbot genau in diesem Kontext nutzen. Aus Sicht des Unternehmens sei es außerdem zu kurz gegriffen, Chatbots allein für Folgen verantwortlich zu machen, und moderne KI-Modelle könnten inzwischen deutlich besser mit fehlenden Informationen umgehen, Unsicherheiten transparent machen und Situationen erkennen, in denen professionelle medizinische Hilfe notwendig ist.
Für den Markt kommt der Fall zu einem Zeitpunkt, an dem Gesundheitsangebote vieler KI-Anbieter spürbar expandieren. Neue Dienste wie ChatGPT Health sollen es Nutzern erlauben, medizinische Unterlagen hochzuladen und Fragen zu Gesundheitsthemen mithilfe KI beantworten zu lassen. Damit verschiebt sich die Interaktion weg vom reinen Frage-Antwort-Chat hin zu einem Szenario, in dem Datenkontexte und Entscheidungsdruck stärker zusammenkommen. Für Kläger und Sicherheitsverantwortliche ist genau das ein Risiko: Je näher das System an „nützliche nächste Schritte“ heranrückt, desto höher wird der Anspruch, Warnsignale robust zu eskalieren und keine falsche Sicherheit aufzubauen.
Historisch zeigt sich bei medizinischen KI-Assistenten ein wiederkehrendes Muster: Selbst wenn Modelle in vielen Fällen plausible Antworten erzeugen, hängt ihre Zuverlässigkeit stark davon ab, wie sie Unsicherheit kommunizieren und wie konsequent sie bei Notfällen abseits von „Erklärungen“ handeln. In früheren Wellen von Chatbots lag der Fokus oft auf dem Textverständnis und der Hilfestellung, während die letzten Meter Richtung „Sofort handeln, wenn …“ mit zusätzlicher Modellierung, Policy-Logik und strikteren Triggern gelöst werden mussten. Genau hier setzt die Klage an, weil sie nicht nur einen Qualitätsfehler, sondern ein Versagen der Sicherheitsarchitektur im Einzelfall geltend macht. Für Unternehmen bedeutet das: Fortschritte in KI-Genauigkeit werden zwar wichtig, aber im regulierten Umfeld entscheidet ebenso, wie gut ein System bei klinischer Dringlichkeit die Verantwortung operational in Richtung Mensch verlagert.
Unmittelbar relevant ist außerdem, welche Art von Beweislage und Prüfmechanik in solchen Verfahren gefordert wird. Die Forderung nach unabhängiger Sicherheitsbestätigung zielt auf Testverfahren, die nicht allein auf generische Benchmarks setzen, sondern auf reale Gesprächsverläufe, die Art der Symptomschilderung und die konkrete Entscheidungslogik bei Warnmustern. Unabhängig vom Ausgang dürfte der Rechtsstreit damit den Druck erhöhen, KI-Health-Funktionen stärker als sicherheitskritische Systeme zu behandeln: mit klaren technischen Barrieren, nachvollziehbarer Eskalation und einer Produktgestaltung, die den Nutzer in medizinischen Notfällen nicht in beruhigende Bahnen lenkt. Für die KI-Industrie ist das eine harte, aber auch klare Lehre: Je zugänglicher KI-Assistenz wird, desto weniger darf „Beratung“ wie medizinische Autorität wirken.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "Klage gegen OpenAI: ChatGPT Health soll bei Symptomen gefährlich verharmlost haben" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "Klage gegen OpenAI: ChatGPT Health soll bei Symptomen gefährlich verharmlost haben" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »Klage gegen OpenAI: ChatGPT Health soll bei Symptomen gefährlich verharmlost haben« bei Google Deutschland suchen, bei Bing oder Google News!