Los bots de IA y el robots.txt europeo: en el informe «The Bad Bots» de TollBit, el 15 % de los agentes llega a páginas prohibidas

El 14 de agosto de 2026 se publicaron los datos de la edición «The Bad Bots» del informe State of the Bots de TollBit, de los que Digiday dio cuenta tras revisar el documento. El informe, que cubre el primer semestre de 2026, se basa en una muestra de 3.906 sitios editoriales, 456 de ellos europeos. La fuente es una empresa que vende a los editores herramientas de detección y monetización del tráfico de bots, así que la muestra representa su red de clientes y no la totalidad de la web (representatividad incierta).

Según el informe, alrededor del 15 % de los agentes de IA identificados como «page fetcher» en los sitios europeos llegó a URL marcadas como disallow en los archivos robots.txt. En particular, ChatGPT-User (OpenAI), Bytespider (ByteDance) y Youbot alcanzaron páginas marcadas como prohibidas en casi la mitad de los sitios europeos que los habían listado de forma explícita, y ChatGPT-User fue el presente en más sitios. La documentación oficial de OpenAI precisa que, dado que las acciones de ChatGPT-User las inicia un usuario, las reglas de robots.txt «podrían no aplicarse» (OpenAI, developers.openai.com).

Las métricas muestran una diferencia marcada entre Europa y Norteamérica: las instrucciones de robots.txt de los sitios europeos se ignoran casi tres veces más; el número mediano de descargas de IA por sitio es cuatro veces mayor en Europa; la relación entre descargas de bots y visitas humanas devueltas al sitio empeoró del 150:1 del primer trimestre al 227:1 del segundo, y en el conjunto del semestre la media europea es de una visita humana por cada 179 de bots, más de tres veces peor que Norteamérica. Además, las apps de IA suponen el 0,05 % de las referencias externas para los editores europeos, frente al 0,16 % de los norteamericanos.

Parte de la brecha, sin embargo, depende de los propios editores: solo el 13 % de los sitios europeos bloquea a Perplexity-User en el robots.txt, frente al 26 % de los norteamericanos (datos citados por PPC Land). En valor absoluto, señaló a Digiday Lai Yi Ohlsen, de Cloudflare Radar, Norteamérica recibe más solicitudes de bots que Europa.

El informe completo de TollBit no se ha hecho público; las cifras proceden de Digiday, Search Engine Journal y PPC Land, que revisaron el documento. TollBit tiene un interés comercial en el resultado y su metodología de «bypass» cuenta cualquier acceso a una URL prohibida, sin distinguir entre una decisión deliberada del operador y un error de configuración. Esas limitaciones obligan a leer los datos con cautela, pero apuntan con claridad a una cosa: la convención voluntaria del robots.txt está cada vez más en entredicho por culpa de los agentes de IA.