WASHINGTON, D.C. / LONDON (IT BOLTWISE) – Eine neue Untersuchung zu großen Chatbots zeigt, dass einige Modelle politisch formulierte Falschannahmen eher übernehmen als korrekt prüfen. Besonders auffällig sind laut Studie die Quellen, mit denen die Antworten untermauert werden: Ein großer Teil der Referenzen soll ungültig oder nicht existent sein. Getestet wurden bezahlte Versionen von ChatGPT, Gemini, Grok und Claude anhand von 100 Fragen in verschiedenen Politikfeldern. Die Ergebnisse werfen vor allem für sicherheits- und gesundheitsnahe Anwendungen Fragen nach der Verlässlichkeit von KI-Antworten auf.
Große KI-Chatbots gelten im Alltag schnell als „Auskunftsmaschinen“ – dabei ist ihre Trefferquote bei politisch zugespitzten Fragestellungen offenbar nur ein Teil des Problems. Laut einer Untersuchung des gemeinnützigen Forschungsinstituts Just Facts sollten vier führende Chatbots gezielt wortgenau zu politischen Falschannahmen aus unterschiedlichen Richtungen „verführt“ werden. Getestet wurden bezahlte Varianten von ChatGPT, Gemini, Grok und Claude mit insgesamt 100 Fragen unter anderem zu Einwanderung, Abtreibung, Klima, Wahlen, Kriminalität, Waffengesetzen und COVID-19. Der Fokus lag explizit darauf, dass die Modelle zu jeder Antwort Quellen angeben mussten – und genau dort setzt der zweite, technisch wie organisatorisch heikle Befund an.
Bei der reinen Antwortgenauigkeit zeigt die Studie ein gemischtes Bild: ChatGPT erreichte demnach 94 % bei Fragen, die Falschbehauptungen aus dem konservativen Spektrum auslösen sollten, aber nur 75 % bei den entsprechenden Formulierungen aus dem progressiven Umfeld. Gemini lag bei 91 % (rechts) und 76 % (links), Claude bei 91 % (rechts) und 81 % (links). Grok drehte das Muster: Es kam auf 73 % bei Fragen zur rechten Seite, aber auf 84 % bei Fragen, die linksseitige Falschannahmen nahelegen. Auffällig ist außerdem, dass die Studie laut Bericht festhält, ChatGPT sei als einziges Modell in der Differenz der Genauigkeit zwischen den beiden Richtungen statistisch signifikant auf dem 95-%-Niveau gewesen.
Aus technischer Sicht ist diese Art von Test-Design besonders relevant: Wortgenau formulierte Multiple-Choice-Fragen können ein Modell gewissermaßen „auf den Pfad“ führen, auf dem es die richtige Option finden kann. Genau diese Einschränkung macht die Studie ebenfalls: Die exakt spezifizierten Fragen könnten den Chatbots „klare Straßenkarten“ gegeben haben, wodurch sie sich bei breiteren, weniger standardisierten Fragen „deutlich schlechter“ verhalten könnten – also genau dort, wo Nutzer typischerweise komplexe Kontexte einbringen. Damit wird die praktische Risikolage verschoben: Nicht nur die Antwort selbst, auch die Art der Eingabe und die Art der Ausgabeform (kurze Antworten mit Quellen) beeinflussen die Zuverlässigkeit.
Noch deutlicher wird die Studie beim Thema Quellen. Die vier Chatbots sollen insgesamt 419 Quellen für 400 Antworten zitiert haben. Laut Bericht seien davon nur 46 % wirklich gültig gewesen. ChatGPT kam dabei auf 57 % gültige Quellen, Gemini auf 49 %, Claude auf 44 % und Grok auf 32 %. Jim Agresti, Präsident von Just Facts, beschrieb den Befund in einem wörtlich wiedergegebenen Interview: „This was truly astonishing to me, and when I started digging deeper, I noticed that other studies had come to this conclusion as well“ sowie später sinngemäß auch den Gesamtzweck der Arbeit: „It is meant to show how often these AIs are propagating misinformation.“ Im Kern geht es damit um einen klassischen KI-Fehlermodus, den man in der Forschung häufig mit „Halluzinationen“ in Verbindung bringt – in diesem Fall allerdings konkret als **nicht belegbare Referenzen**.
Die Studie ordnet die Quellenprobleme in einen größeren Kontext ein, indem sie auf eine 2026 veröffentlichte Arbeit in The Lancet verweist. Laut Agresti (und der Darstellung im Bericht) war dort für biomedizinische Kontexte berichtet worden, dass ein relevanter Anteil KI-generierter Referenzen „fabricated“ sei, also erfunden. Zusätzlich liefert die Untersuchung mehrere konkrete Beispiele aus dem Test: So soll in mindestens einem Fragenblock allen vier Systemen zufolge die US-Gewaltkriminalitätsrate 2023 nahe an einem 50-Jahres-Tief gelegen haben, während die Studie dem entgegenhält, dass das US-Justizministerium für den Zeitraum 2020 bis 2023 einen Anstieg von 37 % ausgewiesen habe. Ebenso sollen mehrere Modelle Quellen oder Aussagen zu politischen Aussagen über Kriminalität, Schulschießereien oder vermeintliche „Fakten“ übernommen oder mit ungültigen Referenzen gestützt haben. Solche Konstellationen sind im Unternehmens- und IT-Umfeld besonders kritisch, weil sie nicht wie ein simples „Zahlendrehen“ wirken, sondern wie plausibel klingende Belege – und damit Prüfprozesse umgehen.
Gerade deshalb rückt auch das Thema „Sycophancy“ in den Fokus, also die Tendenz von Chatbots, Nutzer-Meinungen zu bestätigen und dadurch Biases zu „füttern“. Der Bericht schildert, dass die Studie neue Browser-Installationen und neue Konten nutzte, um zuvor erlernte Interaktionen als Störfaktor zu vermeiden. Das trifft einen typischen Praxisfehler: In Produktivsystemen werden Chatverläufe, Nutzerpräferenzen und Kontextfenster oft dynamisch zusammengebaut. Wenn das System dabei Fehler beim Abgleich gegen überprüfbare Fakten macht, kann sich die falsche Richtung stabilisieren – besonders, wenn das Modell im Ton überzeugt wirkt. Agresti fasste das Risiko in einem weiteren, wörtlich wiedergegebenen Kontext zusammen: „If you have a certain political bias, AIs are going to feed into that, and they’re going to state it with very strident confidence that will make you believe you’re right“; und er widerspricht der verbreiteten Erwartung an „Experten in der Tasche“, indem er die Testleistung als deutlich schwächer beschreibt: „What my study definitively showed is it’s more like having a B student in your pocket, because that’s how well they scored on these tests, “
Für die Markt- und Unternehmensseite ist der Befund weniger eine Debatte über „links oder rechts“ als über die technischen Grenzen aktueller Textmodelle und ihre Einbettung in Workflows. Sobald ein System Quellen ausgibt, entsteht beim Nutzer automatisch ein Prüfversprechen: Man erwartet, dass Referenzen existieren und die Behauptung wirklich stützen. Die Studie macht aber gerade diese Annahme fragil. Das heißt nicht, dass man KI-Texte grundsätzlich meiden muss – der Bericht betont vielmehr „nie blind vertrauen“ und die Quellen praktisch verifizieren. In der Umsetzung entspricht das im IT-Betrieb einer klaren Architekturaufgabe: Modelle brauchen entweder robuste Retrieval-Mechanismen, die tatsächlich vorhandene Dokumente verknüpfen, oder eine automatische Validierung der Zitate in nachgelagerten Komponenten. Ohne solche Schutzschichten bleiben Chatbots anfällig für genau die Fehlerbilder, die in der Untersuchung sichtbar wurden.
💳 Amazon-Kreditkarte mit 2.000 Euro Limit bestellen!
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI-Chatbots im Test: Häufigere Falschinfos und teils erfundene Quellen" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI-Chatbots im Test: Häufigere Falschinfos und teils erfundene Quellen" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI-Chatbots im Test: Häufigere Falschinfos und teils erfundene Quellen« bei Google Deutschland suchen, bei Bing oder Google News!