Cloudflare startet Marktplatz für KI-Bot-Zugriff auf Webseiten

SAN FRANCISCO / LONDON (IT BOLTWISE) – In einer Zeit, in der Künstliche Intelligenz (KI) zunehmend das Internet durchdringt, hat Cloudflare, ein führender Anbieter von Cloud-Infrastruktur, einen innovativen Marktplatz eingeführt, der die Beziehung zwischen Webseitenbetreibern und KI-Unternehmen neu definiert.

Cloudflare, das weltweit etwa 20% des Internets bedient, hat kürzlich einen neuen Marktplatz vorgestellt, der es Webseitenbetreibern ermöglicht, KI-Bots für das Crawlen ihrer Inhalte zu berechnen. Diese Initiative zielt darauf ab, den Betreibern mehr Kontrolle über ihre Inhalte zu geben und gleichzeitig eine neue Einnahmequelle zu erschließen.

Im vergangenen Jahr hat Cloudflare bereits Werkzeuge entwickelt, um der zunehmenden Anzahl von KI-Crawlern entgegenzuwirken. Dazu gehören eine Ein-Klick-Lösung zur Blockierung aller KI-Bots und ein Dashboard, das den Webseitenbetreibern Einblicke in die Aktivitäten der Crawler auf ihren Seiten bietet. Laut CEO Matthew Prince legten diese Produkte den Grundstein für den neuen Marktplatz, der nun in einer privaten Beta-Phase gestartet ist.

Der Marktplatz, bekannt als ‘Pay per Crawl’, ermöglicht es Webseitenbetreibern, KI-Crawler individuell zuzulassen und ihnen eine Mikrozahlung für jeden Crawl in Rechnung zu stellen. Alternativ können Betreiber entscheiden, ob sie den Crawlern kostenlosen Zugriff gewähren oder sie komplett blockieren. Cloudflare verspricht, dass die Betreiber sehen können, ob die Crawler ihre Daten für KI-Trainings, Suchantworten oder andere Zwecke nutzen.

Diese Entwicklung könnte für Verlage ein neues Geschäftsmodell im KI-Zeitalter darstellen, insbesondere da der traditionelle Traffic über Google-Suche abnimmt und KI-Chatbots an Popularität gewinnen. Einige große Verlage haben bereits rechtliche Schritte gegen Technologieunternehmen eingeleitet, die ihre Inhalte ohne Erlaubnis für KI-Modelle nutzen. Andere haben Lizenzvereinbarungen getroffen, um ihre Inhalte für KI-Trainings zur Verfügung zu stellen.

Cloudflare hat zudem angekündigt, dass neue Webseiten, die über ihre Plattform eingerichtet werden, standardmäßig alle KI-Crawler blockieren. Betreiber müssen dann explizit die Erlaubnis erteilen, um den Zugriff zu gewähren. Diese Maßnahme soll den Betreibern von Anfang an mehr Kontrolle über ihre Inhalte geben.

Die Einführung des Marktplatzes erfolgt zu einem Zeitpunkt, an dem Verlage nach neuen Wegen suchen, um im digitalen Zeitalter zu überleben. Historisch gesehen haben sie Google erlaubt, ihre Seiten zu crawlen, um im Gegenzug Traffic zu erhalten, der sich in Werbeeinnahmen umwandeln ließ. Doch neue Daten von Cloudflare zeigen, dass Verlage im KI-Zeitalter möglicherweise schlechter abschneiden als in der Google-Suche-Ära.

Cloudflare berichtet, dass Googles Crawler ihre Webseiten 14 Mal für jede Weiterleitung durchsucht, während OpenAIs Crawler 17.000 Mal und Anthropics Crawler 73.000 Mal für jede Weiterleitung crawlen. Diese Zahlen verdeutlichen die Herausforderung, vor der Verlage stehen, wenn KI-Tools zunehmend direkt Informationen an Nutzer liefern.

Cloudflare sieht das Potenzial von ‘Pay per Crawl’ in einer Zukunft, in der agentenbasierte Systeme gängiger werden. Diese könnten programmatisch an der Netzwerkkante operieren und Inhalte basierend auf einem Budget erwerben, um die besten und relevantesten Informationen bereitzustellen.

Um an Cloudflares experimentellem Marktplatz teilzunehmen, müssen sowohl KI-Unternehmen als auch Verlage über Cloudflare-Konten verfügen. Beide Parteien können dann die Preise für das Crawlen der Inhalte festlegen, wobei Cloudflare als Vermittler fungiert und die Einnahmen an die Verlage verteilt.

Obwohl der Marktplatz eine mutige Vision für die Zukunft darstellt, bleibt abzuwarten, ob Verlage tatsächlich von diesem Modell profitieren werden und ob KI-Unternehmen bereit sind, für Inhalte zu zahlen, die sie derzeit kostenlos erhalten.

Unseren KI-Morning-Newsletter «Der KI News Espresso» mit den besten KI-News des letzten Tages gratis per eMail - ohne Werbung: Hier kostenlos eintragen!