Studie wirft LM Arena Bevorzugung führender KI-Labore vor

BERKELEY / MÜNCHEN (IT BOLTWISE) – Eine neue Studie von Cohere, Stanford, MIT und Ai2 erhebt schwere Vorwürfe gegen LM Arena, die Organisation hinter dem beliebten KI-Benchmark Chatbot Arena. Die Studie behauptet, dass LM Arena einigen führenden KI-Unternehmen wie Meta, OpenAI, Google und Amazon geholfen habe, bessere Platzierungen auf der Rangliste zu erzielen, indem sie ihnen exklusive Testmöglichkeiten bot.

Die Studie, die von Forschern von Cohere, Stanford, MIT und Ai2 durchgeführt wurde, wirft LM Arena vor, einigen der führenden KI-Unternehmen wie Meta, OpenAI, Google und Amazon bevorzugten Zugang zu Testmöglichkeiten auf der Plattform Chatbot Arena gewährt zu haben. Diese Unternehmen konnten demnach mehrere Varianten ihrer KI-Modelle privat testen und die Ergebnisse der weniger erfolgreichen Modelle verbergen, um so bessere Platzierungen auf der Rangliste zu erreichen.

Sara Hooker, Vizepräsidentin für KI-Forschung bei Cohere und Mitautorin der Studie, erklärte in einem Interview, dass nur eine Handvoll Unternehmen über die Möglichkeit privater Tests informiert wurden. Diese Praxis, so Hooker, sei eine Form der Gamification, die den Wettbewerb verzerrt. Chatbot Arena, ursprünglich als akademisches Forschungsprojekt an der UC Berkeley gestartet, hat sich zu einem wichtigen Benchmark für KI-Unternehmen entwickelt.

Die Plattform funktioniert, indem sie Antworten von zwei verschiedenen KI-Modellen nebeneinanderstellt und Benutzer auffordert, die bessere auszuwählen. Über die Zeit tragen diese Stimmen zu einem Modell-Score bei, der die Platzierung auf der Rangliste bestimmt. Während viele kommerzielle Akteure an Chatbot Arena teilnehmen, hat LM Arena stets behauptet, dass ihr Benchmark unparteiisch und fair sei.

Die Autoren der Studie, die ihre Forschung im November 2024 begannen, fanden jedoch Hinweise darauf, dass LM Arena bestimmten Unternehmen erlaubte, mehr Daten aus Chatbot Arena zu sammeln, indem ihre Modelle in einer höheren Anzahl von Modellkämpfen auftraten. Diese erhöhte Stichprobenrate verschaffte diesen Unternehmen einen unfairen Vorteil, so die Autoren.

In einer Stellungnahme wies LM Arena die Vorwürfe zurück und erklärte, dass die Studie voller Ungenauigkeiten und fragwürdiger Analysen sei. Armand Joulin von Google DeepMind kritisierte ebenfalls die Genauigkeit der Zahlen in der Studie. Hooker versprach, dass die Autoren eine Korrektur vornehmen würden.

Die Studie fordert LM Arena auf, Maßnahmen zu ergreifen, um Chatbot Arena fairer zu gestalten. Dazu gehört die Einführung eines klaren und transparenten Limits für die Anzahl privater Tests, die KI-Labore durchführen können, sowie die öffentliche Offenlegung der Ergebnisse dieser Tests. LM Arena hat diese Vorschläge jedoch abgelehnt und erklärt, dass es keinen Sinn mache, Ergebnisse für Vorabmodelle zu zeigen, die nicht öffentlich verfügbar sind.

Die Veröffentlichung der Studie erfolgt zu einem Zeitpunkt, an dem LM Arena plant, ein Unternehmen zu gründen und Kapital von Investoren zu beschaffen. Dies wirft Fragen auf, ob private Benchmark-Organisationen in der Lage sind, KI-Modelle ohne Einflussnahme von Unternehmen objektiv zu bewerten.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!