Os bots de IA e o robots.txt europeu: no relatório «The Bad Bots» da TollBit, 15 % dos agentes chegam a páginas proibidas

A 14 de agosto de 2026 foram divulgados os dados da edição «The Bad Bots» do relatório State of the Bots da TollBit, de que a Digiday deu conta depois de ter consultado o documento. O relatório, que cobre o primeiro semestre de 2026, baseia-se numa amostra de 3.906 sites editoriais, 456 dos quais europeus. A fonte é uma empresa que vende aos editores ferramentas de deteção e monetização do tráfego de bots, pelo que a amostra representa a sua rede de clientes e não a totalidade da web (representatividade incerta).

Segundo o relatório, cerca de 15 % dos agentes de IA identificados como «page fetcher» nos sites europeus chegou a URL marcados como disallow nos ficheiros robots.txt. Em particular, o ChatGPT-User (OpenAI), o Bytespider (ByteDance) e o Youbot alcançaram páginas marcadas como proibidas em quase metade dos sites europeus que os tinham listado explicitamente, sendo o ChatGPT-User o presente no maior número de sites. A documentação oficial da OpenAI especifica que, uma vez que as ações do ChatGPT-User são iniciadas por um utilizador, as regras do robots.txt «poderão não se aplicar» (OpenAI, developers.openai.com).

As métricas mostram uma diferença marcada entre a Europa e a América do Norte: as instruções do robots.txt dos sites europeus são ignoradas quase três vezes mais; o número mediano de recolhas de IA por site é quatro vezes mais alto na Europa; a relação entre recolhas dos bots e visitas humanas encaminhadas para o site piorou de 150:1 no primeiro trimestre para 227:1 no segundo e, em todo o semestre, a média europeia é de uma visita humana por cada 179 de bots, mais de três vezes pior do que na América do Norte. Além disso, as aplicações de IA representam 0,05 % das referências externas dos editores europeus, contra 0,16 % dos norte-americanos.

Parte da distância depende, no entanto, dos próprios editores: apenas 13 % dos sites europeus bloqueia o Perplexity-User no robots.txt, contra 26 % dos norte-americanos (dados citados pela PPC Land). Em valor absoluto, observou à Digiday Lai Yi Ohlsen, da Cloudflare Radar, a América do Norte recebe mais pedidos de bots do que a Europa.

O relatório completo da TollBit não foi tornado público; os números vêm da Digiday, do Search Engine Journal e da PPC Land, que consultaram o documento. A TollBit tem um interesse comercial no resultado e a metodologia de «bypass» conta qualquer acesso a um URL proibido, sem distinguir entre escolha deliberada do operador e erro de configuração. Estas limitações obrigam a ler os dados com cautela, mas indicam com clareza uma coisa: a convenção voluntária do robots.txt está cada vez mais posta à prova pelos agentes de IA.