KI-Bots und die europäische robots.txt: Im TollBit-Report „The Bad Bots“ erreichen 15 % der Agenten gesperrte Seiten

Am 14. August 2026 wurden die Zahlen der Ausgabe „The Bad Bots“ des TollBit-Reports State of the Bots veröffentlicht; Digiday berichtete darüber, nachdem das Dokument eingesehen worden war. Der Report deckt das erste Halbjahr 2026 ab und stützt sich auf eine Stichprobe von 3.906 Publisher-Websites, davon 456 europäische. Die Quelle ist ein Unternehmen, das Verlagen Werkzeuge zur Erkennung und Monetarisierung von Bot-Traffic verkauft – die Stichprobe bildet also das eigene Kundennetz ab und nicht das gesamte Web (Repräsentativität unsicher).

Laut Report erreichten rund 15 % der auf europäischen Websites als „page fetcher“ identifizierten KI-Agenten URLs, die in der robots.txt mit disallow markiert waren. Vor allem ChatGPT-User (OpenAI), Bytespider (ByteDance) und Youbot riefen auf fast der Hälfte der europäischen Websites, die sie ausdrücklich aufgeführt hatten, als gesperrt markierte Seiten ab; ChatGPT-User war dabei auf den meisten Websites präsent. In der offiziellen Dokumentation von OpenAI heißt es, dass robots.txt-Regeln „möglicherweise nicht gelten“, weil die Aktionen von ChatGPT-User von einem Nutzer ausgelöst werden (OpenAI, developers.openai.com).

Die Kennzahlen zeigen einen deutlichen Unterschied zwischen Europa und Nordamerika: Die robots.txt-Anweisungen europäischer Websites werden fast dreimal so oft ignoriert; der Median der KI-Abrufe pro Website liegt in Europa viermal höher; das Verhältnis von Bot-Abrufen zu menschlichen Besuchen, die an die Website zurückverwiesen werden, verschlechterte sich von 150:1 im ersten Quartal auf 227:1 im zweiten, und über das gesamte Halbjahr kommt in Europa im Schnitt ein menschlicher Besuch auf 179 Bot-Abrufe – mehr als dreimal schlechter als in Nordamerika. Hinzu kommt: KI-Apps machen bei europäischen Verlagen 0,05 % der externen Referrals aus, bei nordamerikanischen 0,16 %.

Ein Teil des Abstands geht allerdings auf die Verlage selbst zurück: Nur 13 % der europäischen Websites blockieren Perplexity-User in der robots.txt, gegenüber 26 % der nordamerikanischen (Zahlen zitiert nach PPC Land). In absoluten Zahlen erhält Nordamerika mehr Bot-Anfragen als Europa, sagte Lai Yi Ohlsen von Cloudflare Radar gegenüber Digiday.

Der vollständige TollBit-Report wurde nicht veröffentlicht; die Zahlen stammen von Digiday, Search Engine Journal und PPC Land, die das Dokument eingesehen haben. TollBit hat ein kommerzielles Interesse am Ergebnis, und die „Bypass“-Methodik zählt jeden Zugriff auf eine gesperrte URL – ohne zwischen bewusster Entscheidung des Betreibers und Konfigurationsfehler zu unterscheiden. Diese Grenzen verlangen eine vorsichtige Lesart der Daten, doch eines zeigen sie klar: Die freiwillige Konvention robots.txt gerät durch KI-Agenten zunehmend unter Druck.