Несовершенное перемирие Cloudflare между поиском и обучением ИИ

15 сентября 2026 года Cloudflare включила опцию "Disallow AI Training", настраиваемую для каждого домена в разделе безопасности. Заявленная цель — разорвать связку, до сих пор навязанную всем, кто публикует в сети: отдавать свои тексты на обучение генеративных моделей, лишь бы не исчезнуть из обычных результатов поиска. Классификация теперь делит работу сборщиков данных на три категории: "Search" — индексация, "Training" — обучение, "Agent" — помощники, работающие в реальном времени. С изменением значений по умолчанию для новых домена и для клиентов бесплатных тарифов у сайтов с рекламой Training и Agent блокируются автоматически, а Search остаётся включённым. И наоборот: у сайтов без рекламы все три функции по умолчанию остаются разрешёнными.

Для сборщиков смешанного назначения — Googlebot, Applebot и Bingbot, на которые приходится 36,6% трафика проверенных сборщиков в сети Cloudflare, — компания ввела статус "Accountable"-оператора. Cloudflare называет Apple, Google и Microsoft операторами Accountable, то есть теми, кто выполняет — или обязался выполнить к объявленным срокам — четыре требования прозрачности, среди них отказ от обучения и инструменты проверки на уровне отдельного адреса URL. Однако технический разбор этих уступок оставляет широкие зоны неопределённости. Крупные технологические компании не выпустили прямых подтверждений: список — односторонняя атрибуция Cloudflare. К тому же главные обещанные инструменты отнесены в будущее: инструмент проверки на уровне URL, объявленный Apple на 2027 год, поддержка предпочтения "no training" в robots.txt, которую Microsoft/Bing ставит целью на начало 2027 года, и не уточнённые "несколько недель", о которых говорит Google.

Картину задают и данные, распространённые Cloudflare: менее 1% сайтов блокируют классическую индексацию, тогда как 17% включают средства против обучения искусственного интеллекта. Компания утверждает также, что более половины пользователей читают сводки ИИ в поисковиках и что после их прочтения вероятность закончить поиск на этом, не переходя на сайты-источники, выше более чем на 40%. Но это измерения внутри сети Cloudflare, опубликованные без методики и не проверяемые независимо. Остаётся и разрыв между настройкой предпочтений и их реальным соблюдением: расследование PPC Land в августе 2026 года показывало, что в Европе 15% обращений ИИ-сборщиков касались адресов URL, для которых запрет был выражен, — при том что трафик ботов составлял 57,4% всего HTML-трафика.

Ход Cloudflare, который глава компании Мэтью Принс описал как способ сохранить открытость сети, вернув контроль тем, кто создаёт содержание, похож на попытку в одиночку урегулировать территорию без законов. Но пока запрет держится на обещаниях будущего соответствия и на технической вежливости, которую сборщики могут обойти, власть издателей над собственной работой остаётся временной уступкой, а не правом, защищённым технологией.

— Olya