AI-bots en de Europese robots.txt: in TollBits rapport “The Bad Bots” bereikt 15% van de agents verboden pagina’s

Op 14 augustus 2026 verschenen de cijfers van de editie “The Bad Bots” van TollBits rapport State of the Bots; Digiday berichtte erover na inzage in het document. Het rapport beslaat de eerste helft van 2026 en is gebaseerd op een steekproef van 3.906 uitgeverssites, waarvan 456 Europese. De bron is een bedrijf dat uitgevers tools verkoopt om botverkeer te detecteren en te gelde te maken, dus de steekproef weerspiegelt het eigen klantennetwerk en niet het hele web (onzeker hoe representatief die is).

Volgens het rapport bereikte ongeveer 15% van de AI-agents die op Europese sites als “page fetcher” zijn geïdentificeerd URL’s die in robots.txt met disallow waren gemarkeerd. Vooral ChatGPT-User (OpenAI), Bytespider (ByteDance) en Youbot kwamen op bijna de helft van de Europese sites die hen expliciet hadden vermeld bij als verboden gemarkeerde pagina’s uit; ChatGPT-User was op de meeste sites aanwezig. De officiële documentatie van OpenAI vermeldt dat de regels in robots.txt “mogelijk niet van toepassing zijn”, omdat de handelingen van ChatGPT-User door een gebruiker worden gestart (OpenAI, developers.openai.com).

De cijfers tonen een duidelijk verschil tussen Europa en Noord-Amerika: de robots.txt-instructies van Europese sites worden bijna drie keer zo vaak genegeerd; het mediane aantal AI-ophalingen per site ligt in Europa vier keer hoger; de verhouding tussen ophalingen door bots en menselijke bezoeken die naar de site worden doorverwezen verslechterde van 150:1 in het eerste kwartaal naar 227:1 in het tweede, en over het hele halfjaar komt in Europa gemiddeld één menselijk bezoek op 179 botophalingen, ruim drie keer slechter dan in Noord-Amerika. Daarbij zijn AI-apps goed voor 0,05% van de externe verwijzingen bij Europese uitgevers, tegenover 0,16% bij Noord-Amerikaanse.

Een deel van het gat komt echter door de uitgevers zelf: slechts 13% van de Europese sites blokkeert Perplexity-User in de robots.txt, tegen 26% van de Noord-Amerikaanse (cijfers geciteerd door PPC Land). In absolute aantallen krijgt Noord-Amerika meer botverzoeken dan Europa, merkte Lai Yi Ohlsen van Cloudflare Radar op tegen Digiday.

Het volledige rapport van TollBit is niet openbaar gemaakt; de cijfers komen van Digiday, Search Engine Journal en PPC Land, die het document hebben ingezien. TollBit heeft een commercieel belang bij de uitkomst, en de “bypass”-methodiek telt elke toegang tot een verboden URL, zonder onderscheid tussen een bewuste keuze van de exploitant en een configuratiefout. Door die beperkingen moeten de data voorzichtig worden gelezen, maar één ding maken ze duidelijk: de vrijwillige afspraak die robots.txt is, komt door AI-agents steeds verder onder druk te staan.