EleutherAI setzt auf Transparenz mit neuem KI-Datensatz

LONDON (IT BOLTWISE) – EleutherAI hat einen der größten KI-Trainingsdatensätze veröffentlicht, der ausschließlich aus lizenzierten und offenen Texten besteht. Dies könnte die Art und Weise, wie KI-Modelle entwickelt werden, grundlegend verändern.

EleutherAI, eine führende Forschungsorganisation im Bereich der Künstlichen Intelligenz, hat kürzlich einen umfangreichen Datensatz namens The Common Pile v0.1 veröffentlicht. Dieser Datensatz, der in Zusammenarbeit mit Startups wie Poolside und Hugging Face sowie mehreren akademischen Institutionen entwickelt wurde, umfasst beeindruckende 8 Terabyte an Daten. Er besteht ausschließlich aus lizenzierten und öffentlichen Texten und wurde genutzt, um zwei neue KI-Modelle, Comma v0.1-1T und Comma v0.1-2T, zu trainieren.

Die Veröffentlichung dieses Datensatzes erfolgt in einer Zeit, in der viele KI-Unternehmen, darunter auch OpenAI, rechtlichen Herausforderungen gegenüberstehen. Diese Herausforderungen resultieren aus der Nutzung urheberrechtlich geschützter Materialien ohne ausdrückliche Genehmigung. EleutherAI hingegen setzt auf Transparenz und rechtliche Absicherung, indem es ausschließlich auf lizenzierte und öffentliche Quellen zurückgreift.

Stella Biderman, die Geschäftsführerin von EleutherAI, betont, dass die derzeitigen rechtlichen Auseinandersetzungen die Transparenz in der KI-Forschung erheblich beeinträchtigt haben. Viele Unternehmen zögern, ihre Forschungsergebnisse zu veröffentlichen, was die Weiterentwicklung und das Verständnis von KI-Modellen erschwert. EleutherAI hofft, mit der Veröffentlichung von The Common Pile v0.1 einen neuen Standard zu setzen und die Forschungsgemeinschaft zu inspirieren.

Der Datensatz wurde in enger Zusammenarbeit mit Rechtsexperten erstellt und umfasst unter anderem 300.000 Bücher aus dem öffentlichen Bereich, die von der Library of Congress und dem Internet Archive digitalisiert wurden. Zudem wurde OpenAIs Whisper-Modell genutzt, um Audioinhalte zu transkribieren. Diese sorgfältige Kuratierung soll sicherstellen, dass die entwickelten Modelle mit proprietären Alternativen konkurrieren können.

Die Modelle Comma v0.1-1T und Comma v0.1-2T, die jeweils 7 Milliarden Parameter umfassen, zeigen, dass es möglich ist, leistungsfähige KI-Modelle zu entwickeln, ohne auf unlizenzierte Daten zurückzugreifen. Laut EleutherAI erreichen diese Modelle ähnliche Leistungen wie Metas erstes Llama-Modell, insbesondere in Bereichen wie Codierung, Bildverständnis und Mathematik.

EleutherAI sieht in der Veröffentlichung von The Common Pile v0.1 auch eine Möglichkeit, frühere Fehler zu korrigieren. In der Vergangenheit hatte das Unternehmen The Pile veröffentlicht, einen Datensatz, der auch urheberrechtlich geschütztes Material enthielt. Diese Veröffentlichung führte zu Kritik und rechtlichem Druck auf Unternehmen, die diesen Datensatz nutzten.

In Zukunft plant EleutherAI, häufiger offene Datensätze zu veröffentlichen, um die Transparenz und Zusammenarbeit in der KI-Forschung zu fördern. Diese Initiative könnte einen wichtigen Beitrag zur Entwicklung von KI-Modellen leisten, die auf ethisch vertretbaren Grundlagen basieren.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!