Wikipedia bietet KI-Entwicklern optimierte Datensätze zur Entlastung der Server

SAN FRANCISCO / LONDON (IT BOLTWISE) – Die Wikimedia Foundation hat in Zusammenarbeit mit Kaggle, einer von Google betriebenen Plattform für Data Science, einen neuen Datensatz veröffentlicht, der speziell für das Training von KI-Modellen optimiert ist. Ziel ist es, die Belastung der Wikipedia-Server durch automatisierte Bots zu reduzieren, die unaufhörlich Daten scrapen.

Wikipedia, die weltweit bekannte Online-Enzyklopädie, steht vor der Herausforderung, ihre Server vor der zunehmenden Belastung durch automatisierte KI-Bots zu schützen. Diese Bots scrapen unaufhörlich Daten von der Plattform, was die Bandbreite erheblich beansprucht. Um dem entgegenzuwirken, hat die Wikimedia Foundation in Zusammenarbeit mit Kaggle, einer von Google betriebenen Plattform für Data Science, einen optimierten Datensatz veröffentlicht. Dieser Datensatz soll KI-Entwicklern eine strukturierte und maschinenlesbare Alternative zum direkten Scraping bieten.

Der von Kaggle gehostete Datensatz enthält strukturierte Wikipedia-Inhalte in Englisch und Französisch und ist mit Blick auf maschinelles Lernen entwickelt worden. Er umfasst Forschungszusammenfassungen, Kurzbeschreibungen, Bildlinks, Infobox-Daten und Artikelabschnitte, jedoch ohne Referenzen oder nicht-schriftliche Elemente wie Audiodateien. Diese gut strukturierten JSON-Darstellungen sollen eine attraktivere Alternative zum Scraping von rohem Artikeltext darstellen.

Die Partnerschaft mit Kaggle zielt darauf ab, den Zugang zu diesen Daten insbesondere für kleinere Unternehmen und unabhängige Datenwissenschaftler zu erleichtern. Laut Brenda Flynn, Leiterin der Kaggle-Partnerschaften, ist es das Ziel, die Daten zugänglich, verfügbar und nützlich zu halten. Diese Initiative könnte auch als Modell für andere Plattformen dienen, die mit ähnlichen Herausforderungen konfrontiert sind.

Die Wikimedia Foundation hat bereits Vereinbarungen über die gemeinsame Nutzung von Inhalten mit großen Akteuren wie Google und dem Internet Archive getroffen. Diese neue Partnerschaft mit Kaggle könnte jedoch einen entscheidenden Unterschied machen, indem sie eine breitere Zugänglichkeit für Entwickler und Forscher ermöglicht. Dies könnte auch die Entwicklung neuer KI-Modelle beschleunigen, die auf den strukturierten Daten von Wikipedia basieren.

Die Veröffentlichung dieses Datensatzes könnte auch als Reaktion auf die zunehmende Bedeutung von KI im digitalen Raum gesehen werden. Da immer mehr Unternehmen und Entwickler auf KI setzen, um innovative Lösungen zu schaffen, wird der Bedarf an qualitativ hochwertigen und strukturierten Daten immer größer. Die Bereitstellung solcher Daten könnte Wikipedia helfen, seine Rolle als zentrale Wissensquelle im digitalen Zeitalter zu festigen.

In Zukunft könnte diese Initiative auch dazu beitragen, die Art und Weise zu verändern, wie Daten für KI-Modelle bereitgestellt und genutzt werden. Durch die Bereitstellung strukturierter und maschinenlesbarer Daten könnte Wikipedia nicht nur die Belastung seiner Server reduzieren, sondern auch einen wichtigen Beitrag zur Weiterentwicklung der KI-Technologie leisten.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!