Cloudflares unvollkommener Waffenstillstand zwischen Suchmaschinen und KI-Training

Am 15. September 2026 hat Cloudflare die Option "Disallow AI Training" freigeschaltet, die sich in den Sicherheitseinstellungen pro Domain konfigurieren lässt. Erklärtes Ziel ist es, eine bisher erzwungene Kopplung aufzulösen: Wer im Web publiziert, musste seine Texte dem Training generativer Modelle überlassen, um nicht aus den klassischen Suchergebnissen zu verschwinden. Die Klassifizierung unterscheidet die Tätigkeit der Crawler nun in drei Kategorien: "Search" für die Indexierung, "Training" für das Modelltraining und "Agent" für Assistenten in Echtzeit. Mit der Umstellung der Voreinstellungen für neue Domains und für Kunden mit kostenlosen Tarifen werden bei Seiten mit Werbung Training und Agent automatisch blockiert, während Search aktiv bleibt. Bei Seiten ohne Werbung bleiben umgekehrt alle drei Funktionen standardmäßig erlaubt.

Für Crawler mit gemischter Nutzung wie Googlebot, Applebot und Bingbot, die 36,6 % des Verkehrs verifizierter Crawler im Netz von Cloudflare ausmachen, hat das Unternehmen den Status eines "Accountable"-Betreibers eingeführt. Cloudflare führt Apple, Google und Microsoft als Accountable-Betreiber, also als Akteure, die vier Transparenzanforderungen erfüllen oder zugesagt haben, sie bis zu genannten Terminen zu erfüllen, darunter ein Opt-out aus dem Training und Prüfwerkzeuge auf Ebene der einzelnen URL. Die technische Betrachtung dieser Zugeständnisse offenbart allerdings weite Unsicherheitsspielräume. Direkte Bestätigungen der großen Technologiekonzerne liegen nicht vor: Die Liste ist eine einseitige Zuschreibung von Cloudflare. Zudem liegen die wichtigsten versprochenen Werkzeuge in der Zukunft, etwa das von Apple für 2027 angekündigte Prüfwerkzeug auf URL-Ebene, die Unterstützung einer "no training"-Präferenz in der robots.txt, die Microsoft/Bing für Anfang 2027 anstrebt, oder die nicht näher bestimmten "wenigen Wochen", von denen Google spricht.

Das Bild prägen auch die von Cloudflare verbreiteten Daten: Weniger als 1 % der Seiten blockiert die klassische Indexierung, während 17 % Maßnahmen gegen das Training künstlicher Intelligenz aktivieren. Das Unternehmen behauptet ferner, mehr als die Hälfte der Nutzer lese die KI-Zusammenfassungen in Suchmaschinen, und danach sei es über 40 % wahrscheinlicher, dass die Suche dort endet, ohne dass die Ursprungsseiten noch aufgerufen werden. Es handelt sich jedoch um netzinterne Messungen von Cloudflare, veröffentlicht ohne öffentliche Methodik und unabhängig nicht überprüfbar. Bleibt die Lücke zwischen dem Setzen einer Präferenz und ihrer tatsächlichen Beachtung: Eine Recherche von PPC Land aus dem August 2026 zeigte, dass in Europa 15 % der Abrufe von KI-Crawlern URLs betrafen, für die ein Verbot ausgesprochen worden war, in einem Umfeld, in dem der Bot-Verkehr 57,4 % des gesamten HTML-Verkehrs ausmachte.

Cloudflares Schritt, von Vorstandschef Matthew Prince als Weg beschrieben, die Offenheit des Netzes zu bewahren und den Produzenten von Inhalten die Kontrolle zurückzugeben, wirkt wie der Versuch, ein rechtsfreies Gebiet einseitig zu regulieren. Doch solange die Sperre auf Versprechen künftiger Konformität und auf einer technischen Höflichkeit beruht, die Crawler umgehen können, bleibt die Souveränität der Verlage über die eigene Arbeit ein befristetes Zugeständnis und kein von der Technik geschütztes Recht.

— Olya