Anubis: Ein Open-Source-Werkzeug gegen KI-Bot-Scraper

LONDON (IT BOLTWISE) – In der digitalen Welt, in der KI-Modelle zunehmend auf Daten aus dem Internet angewiesen sind, stellt sich die Frage, wie man sich gegen die unaufhörlichen Anfragen von KI-Bot-Scrapern schützen kann. Eine bemerkenswerte Lösung bietet Xe Iaso mit ihrem Open-Source-Projekt Anubis, das seit seiner Einführung im Januar bereits fast 200.000 Mal heruntergeladen wurde.

In der heutigen digitalen Landschaft, in der KI-Modelle immer mehr auf Daten aus dem Internet angewiesen sind, stellt sich die Frage, wie man sich gegen die unaufhörlichen Anfragen von KI-Bot-Scrapern schützen kann. Eine bemerkenswerte Lösung bietet Xe Iaso mit ihrem Open-Source-Projekt Anubis, das seit seiner Einführung im Januar bereits fast 200.000 Mal heruntergeladen wurde. Anubis wurde entwickelt, um den kleinen Teil des Internets vor der Flut von Anfragen durch KI-Unternehmen zu schützen.

Die Motivation für die Entwicklung von Anubis kam, als Iaso bemerkte, dass ihr eigener Git-Server unter der Last von KI-Scrapern litt. Diese Bots durchforsten das Internet und sammeln alles, was als Trainingsdaten für KI-Modelle verwendet werden kann. Wie viele andere kleine Organisationen bemerkte Iaso das Problem erst, als ihr Server nicht mehr funktionierte. Ein Blick in die Protokolle zeigte, dass ein Amazon-Bot jede einzelne Seite anklickte.

Traditionelle Methoden wie die robots.txt-Datei, die automatisierten Tools das Scrapen untersagt, werden von vielen KI-Unternehmen ignoriert. CAPTCHAs sind ebenfalls keine ideale Lösung, da einige KI-Bots bereits über eingebaute CAPTCHA-Löser verfügen. Anubis hingegen nutzt die Fähigkeiten des Browsers, um sicherzustellen, dass ein Besucher ein Mensch ist und kein Bot. Dies geschieht durch kryptografische Berechnungen mit JavaScript, die für den Benutzer unsichtbar sind.

Ein wesentlicher Vorteil von Anubis ist, dass es kostenlos, quelloffen und leichtgewichtig ist. Es kann fast überall implementiert werden und bietet eine praktikable Lösung für ein weit verbreitetes Problem im Internet. Iaso arbeitet kontinuierlich an der Verbesserung von Anubis, um es noch effizienter zu machen. Sie plant, eine nicht-kryptografische Herausforderung zu entwickeln, um die CPU-Belastung der Benutzer zu reduzieren, und denkt über eine Version nach, die ohne JavaScript auskommt.

Die größte Herausforderung bei der Entwicklung von Anubis besteht darin, das richtige Gleichgewicht zu finden: Wie blockiert man Bots, ohne echte Benutzer zu beeinträchtigen? Iaso betont, dass es ein ständiges Katz-und-Maus-Spiel zwischen den Entwicklern von KI-Bot-Scrapern und denjenigen ist, die versuchen, sie zu stoppen. Trotz der Herausforderungen ist Anubis ein vielversprechendes Werkzeug, das bereits von namhaften Organisationen wie GNOME und UNESCO genutzt wird.

Obwohl Iaso Unterstützung durch Patreon und Sponsoren auf GitHub erhält, reicht die finanzielle Unterstützung nicht aus, um Anubis in Vollzeit zu entwickeln. Sie hofft, dass sich dies in Zukunft ändern wird, um das Projekt weiter voranzutreiben. Anubis zeigt, dass auch kleine Projekte einen großen Einfluss auf die Sicherheit und den Schutz des Internets haben können.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!