KI-Tools im Vergleich: Claude übertrifft ChatGPT in Lesetests

LONDON (IT BOLTWISE) – In einer umfassenden Untersuchung wurden fünf der führenden KI-Chatbots auf ihre Fähigkeit getestet, komplexe Texte zu verstehen und zusammenzufassen. Die Ergebnisse überraschten viele, denn nicht ChatGPT, sondern Claude schnitt am besten ab.

Die Fähigkeit von KI-Chatbots, Dokumente zu lesen und zusammenzufassen, wird zunehmend als wertvolles Werkzeug betrachtet, um Informationen schnell zu verarbeiten. Doch wie gut verstehen diese Bots tatsächlich, was sie lesen? Eine kürzlich durchgeführte Studie hat fünf der bekanntesten KI-Tools einem anspruchsvollen Lesetest unterzogen, um genau das herauszufinden. Die getesteten Bots umfassten ChatGPT, Claude, Copilot, Meta AI und Gemini.

Die Untersuchung umfasste vier verschiedene Textarten: einen Roman, medizinische Forschung, rechtliche Verträge und politische Reden von Donald Trump. Ein Expertengremium, darunter die ursprünglichen Autoren der wissenschaftlichen Berichte, bewertete die Zusammenfassungen und Analysen der KI-Tools. Insgesamt wurden 115 Fragen gestellt, um die Fähigkeiten der Bots zu testen.

Claude erwies sich als der zuverlässigste Bot, der keine Informationen erfand, ein häufiges Problem bei KI. Besonders in der Analyse von Literatur und rechtlichen Dokumenten zeigte Claude seine Stärken. Im Bereich der Literatur konnte Claude alle Fakten korrekt wiedergeben, während andere Bots, wie Gemini, oft ungenaue oder irreführende Zusammenfassungen lieferten.

Im Bereich der rechtlichen Verträge überzeugte Claude durch seine Fähigkeit, komplexe Vertragsdetails zu erkennen und Verbesserungsvorschläge zu machen. Ein erfahrener Unternehmensjurist lobte Claude dafür, dass es die Nuancen eines Mietvertrags korrekt erfasste und sinnvolle Änderungen vorschlug.

Auch im Bereich der medizinischen Forschung schnitt Claude gut ab. Es war der einzige Bot, der eine perfekte Punktzahl für die Zusammenfassung eines Papiers über Long Covid erhielt. Die Fähigkeit, wissenschaftliche Ergebnisse klar und präzise zu kommunizieren, wurde von den Experten besonders hervorgehoben.

ChatGPT hingegen zeigte seine Stärken in der Analyse politischer Reden. Es konnte die Kernaussagen von Trumps Reden gut erfassen und die Reaktionen der politischen Gegner korrekt einschätzen. Dennoch hatten alle Bots Schwierigkeiten, den Ton und die emotionale Tiefe der Reden vollständig zu erfassen.

Die Ergebnisse der Studie zeigen, dass KI-Tools zwar nützliche Werkzeuge für die Informationsverarbeitung sind, aber noch nicht perfekt. Die Inkonsistenz der Ergebnisse und die Tendenz, positive Aspekte zu überbetonen, sind Bereiche, in denen Verbesserungen notwendig sind. Experten empfehlen, bei wichtigen Dokumenten immer noch selbst zu lesen oder zumindest mehrere KI-Tools zu verwenden, um die besten Ergebnisse zu erzielen.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!