LONDON (IT BOLTWISE) – Eine neue Harvard-Studie kommt in Blindvergleichen zu dem Ergebnis, dass KI-Modelle Peer Reviews zu unveröffentlichten Manuskripten oft besser formulieren als sehr gut bezahlte menschliche Gutachter. In den Kopf-an-Kopf-Duellen bevorzugte ein separates KI-Modell die KI-Review in allen entschiedenen Fällen, während frühere Zeitschrifteneditoren in 26 von 30 Urteilen ebenfalls zugunsten der KI votierten. Besonders auffällig: Die KI lag laut Auswertung mit rund einem Drittel der falschen Behauptungsrate deutlich unter der Fehlerquote menschlicher Reviews. Offen bleibt, ob bessere Rückmeldungen auch zu wirklich besseren wissenschaftlichen Arbeiten nach der Überarbeitung führen.
Peer Review ist im wissenschaftlichen Publikationsbetrieb die zentrale Qualitäts-Schleuse: Fachleute lesen Manuskripte vor der Veröffentlichung, prüfen Argumente, Methoden und Nachweise und geben Rückmeldungen, die Redaktionen bei der Entscheidung unterstützen. Dass dieses System dennoch hakt, ist seit Langem bekannt. Zu langsame Begutachtungszyklen, die schwer zu organisierende Rekrutierung qualifizierter Freiwilliger und die oft geringe Übereinstimmung zwischen Gutachtern gehören ebenso dazu wie das Risiko, dass einzelne große Fehler übersehen werden oder Feedback zu oberflächlich bleibt. Eine neue Arbeitsnotiz von Forschenden der Harvard University stellt dieses Fundament nun auf eine messbare Probe – und zwar nicht im Modus „KI gegen zufällige menschliche Reviews“, sondern gegen Menschen, die unter vergleichsweise idealen Bedingungen arbeiten.
Im Zentrum steht die Frage, ob große Sprachmodelle schon jetzt in der Lage sind, wissenschaftliche Peer Reviews mindestens auf dem Niveau sehr guter Experten zu verfassen. Der Hintergrund ist zugleich technisch und methodisch: Sprache erzeugen können diese Systeme bereits sehr gut, doch bei wissenschaftlichen Texten gelten besondere Hürden. Frühere Analysen haben wiederholt auf Risiken hingewiesen, etwa auf erfundene Zitate, übermäßige Milde, gelernte Verzerrungen sowie auf die Anfälligkeit gegenüber manipulierten Texten, in denen versteckte Aufforderungen („hidden commands“) die Ausgabe beeinflussen sollen. Die Studie adressiert genau diesen Spannungsbogen, indem sie nicht nur die Qualität des Feedbacks betrachtet, sondern auch die Robustheit gegen typische Fehlerkategorien einbezieht.
Für den menschlichen Referenzwert nutzten die Autoren ein eigens dafür aufgebautes Peer-Review-Angebot namens rapidPeer, entwickelt am „Institute for Quantitative Social Science“, das mit bezahlten externen Expertinnen und Experten arbeitet. Die Gutachter erhalten ein anonymisiertes Manuskript und sollen von Anfang bis Ende konstruktives Feedback liefern – mit einer Zielgröße von mindestens 1,5 bis 2 Seiten Text, bevor das Material an eine Zeitschrift weitergeht. In der Auswertung wird dieses Setup als qualitativ hochwertig beschrieben: In einer Umfrage eine Woche nach Auslieferung bewerteten 88 % der 74 antwortenden Autorinnen und Autoren den Review als „high“ oder „very high quality“. Die Datengrundlage umfasst insgesamt 124 wissenschaftliche Manuskripte und 134 menschliche Reviews aus dem Zeitraum 2019 bis 2026, in Statistik-, Mathematik- und qualitativen Forschungsbereichen. In 10 Fällen lagen zwei unabhängige menschliche Gutachten vor, damit die Vergleichbarkeit weiter steigt.
Auf der KI-Seite erzeugten die Forschenden zu jedem Manuskript ein KI-Review mit Anthropic’s Claude Opus 4.8 – und zwar unter zwei Bedingungen. Im „matched“-Setting bekam das Modell sowohl das anonymisierte Papier als auch die genauen rapidPeer-Instruktionen, ohne externe Werkzeuge. Im „tuned“-Setting nutzte das Modell zusätzlich einen benutzerdefinierten Prompt sowie Internet-Suchzugriff; dieser wurde im Schnitt 12,4-mal pro Review verwendet. Als unabhängiger Prüfer diente dann kein „eigener“ Modellstack, sondern OpenAI’s GPT-5.5 als separater KI-Judge eines anderen Anbieters. Die Bewertung lief in einem mehrstufigen Verfahren: Zunächst ordnete der Judge zu, welche von sieben Review-Zonen betroffen waren (Idee/Theorie, Methoden, Schwächen, Rahmung, Kommunikation, Abbildungen/Tabellen, Quellen). Danach wurden Review-Paare in Kopf-an-Kopf-Vergleichen sowie innerhalb der jeweiligen Zonen gerankt und jedes Review auf einer Skala von 0 bis 10 bewertet. Entscheidend ist dabei das Design gegen Positionseffekte: Die Reihenfolge wurde doppelt getestet, und ein „Sieg“ zählte nur, wenn das Urteil in beiden Darstellungen gleich ausfiel.
Die Ergebnisse fallen – zumindest auf der Ebene der Review-Textqualität – klar zugunsten der KI aus. In den Gesamtvergleichen bevorzugte der KI-Judge das KI-Review in 100 % der entschiedenen Fälle (132 von 132). Zusätzlich bewerteten drei frühere Editorinnen und Editor jeweils 10 zufällig ausgewählte Review-Paare über eine verblindete Weboberfläche; in deren 30 Urteilen gewann die KI in 87 % der Fälle (26 von 30). Auch bei der Detailaufteilung zeigt sich ein konsistenter Trend: In mehreren Bereichen wie Quellen, Schwächen und Methoden lagen die KI-Reviews in den entschiedenen Duellen bei 100 %, bei Abbildungen und Tabellen bei 99 %. Bei Theorie/Idee, Rahmung und Kommunikation lag die KI-Quote mit 92 % ebenfalls hoch. Die Autoren berichten außerdem einen Unterschied in der Fehlerkennziffer: Web-aktivierte KI-Reviews wiesen in einer faktischen Abgleichprüfung laut Auswertung keine erfundenen Quellen auf, während 5,5 % der Aussagen über das Manuskript als falsch eingestuft wurden. Das liegt in der Größenordnung ungefähr bei einem Drittel der Fehlerrate menschlicher Reviews. Zudem testeten die Forschenden gezielt die Erkennungsfähigkeit von Falschangaben: In Insertions-Tests markierte der Judge alle 258 falschen Sätze und keinen der 258 korrekten.
Wichtig bleibt jedoch, was die Studie nicht behauptet. Der zentrale Punkt der Autoren und mehrerer externer Kommentatoren: Die bessere Qualität des konstruktiven Feedbacks ist nicht automatisch gleichzusetzen mit „besserer Wissenschaft“ nach einer Überarbeitung. Kilian M. Pohl, Gründer des CNS Lab und Professor unter anderem für Psychiatrie und Verhaltenswissenschaften, kritisiert in seiner Einordnung, dass die Aussagekraft auf die Review-Qualität begrenzt sei und man „mehr umfassende“ Tests brauche, um zu prüfen, ob KI-gestütztes Feedback tatsächlich zu robusteren finalen Artikeln führt. Auch Michael R. Ladomery, Professor für Genetik, nennt als zentrale Schwachstelle, dass Daten dazu fehlen, ob die Autorinnen und Autoren ihre Manuskripte nach KI-Feedback tatsächlich so verbessern, dass am Ende bessere Publikationen herauskommen. Darüber hinaus weisen Kritiker auf den systemischen Effekt hin: Wenn viele Forschende ähnliche KI-Modelle nutzen, könnte sich die Denkweise in Richtung konventioneller Muster verschieben – eine Art „Uniformierung“ wissenschaftlicher Argumentation, selbst wenn einzelne Reviews dabei genauer und konsistenter werden.
Technisch und organisatorisch ergeben sich aus den Ergebnissen trotzdem konkrete Handlungsoptionen für Journals. Die Studie unterscheidet zwei Ziele von Peer Review: Autorinnen und Autoren beim Schreiben unterstützen und Redaktionen bei der Entscheidung über Publikationen helfen. Im beschriebenen Experiment ging es vor allem um das erste Ziel. Daraus leiten die Autoren aber mögliche Workflows ab: Journals könnten etwa einen offiziellen KI-Review-Prompt veröffentlichen, Autoren das KI-Review samt Antwortschreiben einreichen lassen und Redaktionen zusätzlich eine zweite KI-Prüfung nutzen, um Manipulationsversuche in Prompts oder versteckte Aufforderungen aufzudecken. Die letzte Entscheidung läge dann weiterhin beim Menschen. Für die Praxis ist dabei vor allem der Trade-off relevant: KI kann die Textqualität und potenziell die Konsistenz erhöhen, während Redaktionen zugleich sicherstellen müssen, dass Substanz, Kontext und journal-spezifische Erwartungen nicht „glattgezogen“ werden.
🔥 Heutige Hot Deals bei Amazon: Bis zu 80% Rabatte!
🎉 Amazon Haul-Store für absolute Schnäppchenjäger!
- ★ 23-stufiges KI-Go-Training – Für Spieler mit Grundkenntnissen der Regeln – Entwickelt als intelligenter Trainingspartner passt sich die KI Spielern von 18K bis 9D an. Ideal für alle, die die Grundregeln bereits beherrschen und ihr Spiel verbessern möchten.
- IHR EMOTIONALER AI-BEGLEITER: Eiliko ist mehr als nur ein Anhänger, es ist ein charismatischer KI-Freund. Mit einem dynamischen LED-Bildschirm, der eine Vielzahl von animierten Gesichtern und Ausdrucksformen anzeigt, reagiert er auf Ihre Interaktionen mit einzigartiger Persönlichkeit und Charme.
- 【MEHR LEBEN FÜR DEINEN SCHREIBTISCH】 Lerne Eilik kennen – deinen kleinen Roboter-Freund mit Persönlichkeit. Mit liebevollen Animationen, ausdrucksstarken Reaktionen und spielerischen Interaktionen bringt Eilik mehr Freude in deinen Alltag. Ob auf dem Schreibtisch, im Büro oder am Nachttisch – Eilik wird schnell zu einem vertrauten Begleiter für besondere Momente.
- 【XL-Größe für gedeihende Pflanzen】Geben Sie Ihren Pflanzen den Raum, den sie verdienen! Unser verbessertes, großes 13,7 cm großes Design bietet Platz für Pflanzen mit einem Durchmesser von bis zu 8,9 cm und damit deutlich mehr Platz für Wurzelwachstum und Pflanzengesundheit im Vergleich zu kleineren, veralteten Modellen. Die Produktabmessungen betragen 13,6 x 13,6 x 13,2 cm und das Gerät wiegt nur 355 g.
- V28 Update - JETZT MIT NEUEN FUNKTIONEN! Als Reaktion auf das Ladeproblem von Loona haben wir das automatische Aufladen 2.0 verbessert. Diese Optimierung hilft Loona, die Ladewege in verschiedenen Szenarien zu erkennen und anzupassen, um die Erfolgsquote beim automatischen Aufladen zu erhöhen. Mobile Hotspots können sich mit Loona verbinden und überwinden WLAN-Einschränkungen, sodass Sie jederzeit und überall mit Loona interagieren können.
- Die besten Bücher rund um KI & Robotik!
- Die besten KI-News kostenlos per eMail erhalten!
- Zur Startseite von IT BOLTWISE® für aktuelle KI-News!
- IT BOLTWISE® kostenlos auf Patreon unterstützen!
- Aktuelle KI-Jobs auf StepStone finden und bewerben!
- Künstliche Intelligenz: Dem Menschen überlegen – wie KI uns rettet und bedroht | Der Neurowissenschaftler, Psychiater und SPIEGEL-Bestsellerautor von »Digitale Demenz«
Du hast einen wertvollen Beitrag oder Kommentar zum Artikel "KI-gestützte Peer Reviews: Studie zeigt deutlichen Vorsprung in Blindtests" für unsere Leser?
#Sophos
#AmazonPrime
#Bestseller
Es werden alle Kommentare moderiert!
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen.
Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte.
Du willst nichts verpassen?
Du möchtest über ähnliche News und Beiträge wie "KI-gestützte Peer Reviews: Studie zeigt deutlichen Vorsprung in Blindtests" informiert werden? Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den RSS-Hauptfeed oder IT BOLTWISE® bei Google News wie auch bei Bing News abonnieren.
Nutze die Google-Suchmaschine für eine weitere Themenrecherche: »KI-gestützte Peer Reviews: Studie zeigt deutlichen Vorsprung in Blindtests« bei Google Deutschland suchen, bei Bing oder Google News!