AIボットと欧州のrobots.txt——TollBitの報告書「The Bad Bots」で、エージェントの15%が禁止ページに到達

2026年8月14日、TollBitの報告書State of the Botsの「The Bad Bots」版の集計が公表され、Digidayが文書を確認したうえで報じた。2026年上半期を対象とする本報告書は、3,906のメディアサイト（うち欧州が456）を標本としている。出典は、ボットのトラフィックを検知・収益化するツールを発行元に販売する企業であり、標本は同社の顧客ネットワークであってウェブ全体ではない（代表性には不確かさが残る）。

報告書によると、欧州サイトで「page fetcher」と識別されたAIエージェントの約15%が、robots.txtでdisallowと指定されたURLに到達した。とりわけChatGPT-User（OpenAI）、Bytespider（ByteDance）、Youbotは、これらを明示的に列挙していた欧州サイトのほぼ半数で、禁止と指定されたページに到達している。なかでもChatGPT-Userは最も多くのサイトで確認された。OpenAIの公式ドキュメントは、ChatGPT-Userの動作は利用者によって開始されるため、robots.txtの規則が「適用されない場合がある」と明記している（OpenAI, developers.openai.com）。

指標は欧州と北米の差をはっきり示す。欧州サイトのrobots.txtの指示が無視される頻度は約3倍。サイトあたりのAIによる取得回数の中央値は欧州が4倍。ボットの取得数とサイトへ送られた人間の訪問数の比率は、第1四半期の150:1から第2四半期には227:1へ悪化し、上半期全体では欧州の平均はボット179回の取得につき人間の訪問1回——北米の3倍以上悪い。さらに、AIアプリが外部リファラーに占める割合は、欧州の発行元で0.05%、北米では0.16%だった。

もっとも、差の一部は発行元自身に起因する。robots.txtでPerplexity-Userを遮断している欧州サイトは13%にとどまり、北米は26%だ（PPC Land引用のデータ）。絶対数で見れば、ボットからのリクエストは欧州より北米のほうが多い——Cloudflare RadarのLai Yi OhlsenがDigidayにそう指摘している。

TollBitの完全な報告書は公開されていない。数値は、文書を確認したDigiday、Search Engine Journal、PPC Landによるものだ。TollBitは結果に商業的な利害を持ち、しかも「バイパス」の算定方法は、禁止URLへのアクセスをすべて数え、運営側の意図的な選択か設定ミスかを区別していない。こうした制約があるため数字は慎重に読む必要があるが、示していることは明確だ。robots.txtという自発的な取り決めは、AIエージェントによってますます試されている。