Boty AI i europejski robots.txt: w raporcie „The Bad Bots” TollBit 15% agentów dociera do stron objętych zakazem

14 sierpnia 2026 roku opublikowano wyniki edycji „The Bad Bots” raportu State of the Bots firmy TollBit; Digiday napisał o nich po zapoznaniu się z dokumentem. Raport obejmuje pierwsze półrocze 2026 i opiera się na próbie 3906 serwisów wydawniczych, w tym 456 europejskich. Źródłem jest firma, która sprzedaje wydawcom narzędzia do wykrywania i monetyzacji ruchu botów, więc próba odzwierciedla jej sieć klientów, a nie cały internet (reprezentatywność pozostaje niepewna).

Według raportu około 15% agentów AI zidentyfikowanych na europejskich stronach jako „page fetcher” dotarło do adresów URL oznaczonych w plikach robots.txt jako disallow. Szczególnie ChatGPT-User (OpenAI), Bytespider (ByteDance) i Youbot docierały do stron oznaczonych jako zakazane na niemal połowie europejskich serwisów, które wymieniły je wprost; ChatGPT-User był obecny na największej liczbie witryn. Oficjalna dokumentacja OpenAI precyzuje, że skoro działania ChatGPT-User inicjuje użytkownik, reguły robots.txt „mogą nie mieć zastosowania” (OpenAI, developers.openai.com).

Dane pokazują wyraźną różnicę między Europą a Ameryką Północną: instrukcje robots.txt europejskich serwisów są ignorowane niemal trzy razy częściej; mediana liczby pobrań przez AI na witrynę jest w Europie czterokrotnie wyższa; stosunek pobrań botów do ludzkich wizyt odesłanych na stronę pogorszył się ze 150:1 w pierwszym kwartale do 227:1 w drugim, a w całym półroczu europejska średnia to jedna wizyta człowieka na 179 pobrań botów — ponad trzy razy gorzej niż w Ameryce Północnej. Do tego aplikacje AI odpowiadają za 0,05% zewnętrznych odesłań u wydawców europejskich, wobec 0,16% u północnoamerykańskich.

Część tej różnicy zależy jednak od samych wydawców: tylko 13% europejskich serwisów blokuje Perplexity-User w robots.txt, wobec 26% północnoamerykańskich (dane cytowane przez PPC Land). W wartościach bezwzględnych to Ameryka Północna dostaje więcej zapytań od botów niż Europa — zauważyła w rozmowie z Digiday Lai Yi Ohlsen z Cloudflare Radar.

Pełny raport TollBit nie został upubliczniony; liczby pochodzą od Digiday, Search Engine Journal i PPC Land, które zapoznały się z dokumentem. TollBit ma komercyjny interes w takim wyniku, a metodologia „obejścia” liczy każde wejście na zakazany adres URL, nie odróżniając świadomej decyzji operatora od błędu konfiguracji. Te ograniczenia każą czytać dane ostrożnie, ale jedno pokazują jasno: dobrowolna konwencja robots.txt jest przez agentów AI wystawiana na coraz cięższą próbę.