I bot IA e il robots.txt europeo: nel report “The Bad Bots” di TollBit il 15 % degli agenti raggiunge pagine vietate

Il 14 agosto 2026 sono state pubblicate le rilevazioni dell’edizione «The Bad Bots» del report State of the Bots di TollBit, di cui Digiday ha dato conto dopo aver visionato il documento. Il rapporto, che copre il primo semestre 2026, si basa su un campione di 3.906 siti editoriali, di cui 456 europei. La fonte è un’azienda che vende ai publisher strumenti di rilevamento e monetizzazione del traffico dei bot, perciò il campione rappresenta la sua rete di clienti e non l’intero web (incertezza sul carattere rappresentativo).

Secondo il report, circa il 15 % degli agenti IA identificati come «page fetcher» sui siti europei ha raggiunto URL marcati come disallow nei file robots.txt. In particolare, ChatGPT-User (OpenAI), Bytespider (ByteDance) e Youbot hanno raggiunto pagine marcate come vietate su quasi metà dei siti europei che li avevano esplicitamente elencati, con ChatGPT-User presente sul numero maggiore di siti. La documentazione ufficiale di OpenAI specifica che, poiché le azioni di ChatGPT-User sono avviate da un utente, le regole di robots.txt “potrebbero non applicarsi” (OpenAI, developers.openai.com).

Le metriche mostrano una differenza marcata tra Europa e Nord America: le istruzioni di robots.txt dei siti europei vengono ignorate quasi tre volte più spesso; il numero mediano di prelievi IA per sito è quattro volte più alto in Europa; il rapporto tra prelievi dei bot e visite umane rimandate al sito è peggiorato dal 150:1 del primo trimestre al 227:1 del secondo trimestre, e sull’intero semestre la media europea è di una visita umana ogni 179 di bot, oltre tre volte peggio del Nord America. Inoltre, le app IA rappresentano lo 0,05 % dei referral esterni per gli editori europei, contro lo 0,16 % per quelli nordamericani.

Parte del divario dipende però dagli editori stessi: solo il 13 % dei siti europei blocca Perplexity-User nel robots.txt, contro il 26 % dei nordamericani (dati citati da PPC Land). In valore assoluto, ha osservato a Digiday Lai Yi Ohlsen di Cloudflare Radar, il Nord America riceve più richieste da bot dell’Europa.

Il rapporto completo di TollBit non è stato reso pubblico; le cifre provengono da Digiday, Search Engine Journal e PPC Land, che hanno visionato il documento. TollBit ha un interesse commerciale nel risultato e la metodologia di “bypass” conta qualsiasi accesso a un URL vietato, senza distinguere tra scelta deliberata dell’operatore o errore di configurazione. Queste limitazioni rendono necessario interpretare i dati con cautela, ma indicano chiaramente che la convenzione volontaria del robots.txt è sempre più messa alla prova dagli agenti IA.