Новый общий сигнал для обучения ИИ: черновик IETF «Machine‑Readable Training Preference Signal»

30 октября 2026 года в IETF опубликован индивидуальный Internet‑Draft «Machine‑Readable Training Preference Signal» (draft‑kelley‑aipref‑training‑preference‑signal‑00), автор — Кевин Келли из Anthropic. Документ объёмом 10 страниц вводит токен политики __usage_ai‑training: он указывается в строке User‑Agent обычной группы robots.txt и позволяет выразить предпочтение относительно обучения ИИ для каждого пути отдельно. Приведённый пример — «User‑Agent: __usage_ai‑training / Disallow: / / Allow: /press‑kit/»: обучение запрещено на всём сайте, кроме каталога /press‑kit/.

Черновик сохраняет без изменений синтаксис путей, правило самого длинного совпадения и групповую структуру robots.txt, не вводя новых директив и дополнительной грамматики. Кроме того, в нём указано, что группы с подстановочным знаком (User‑Agent: *) НЕ должны считаться относящимися к токену; если ни одна группа не упоминает __usage_ai‑training, сайт никакого предпочтения не выразил. Сигнал касается исключительно использования контента для изменения параметров генеративной модели, а не поведения краулеров (раздел 4.4); чтобы ограничить сканирование, по‑прежнему используются токены отдельных краулеров. В документе сказано, что он не одобрен IETF и не имеет формального статуса в процессе стандартизации; если его не обновят, он истечёт 3 мая 2027 года.

Та же документация напоминает, что Google‑Extended — самостоятельный продуктовый токен и не влияет на включение сайта в Google Поиск. Google заявляет, что намерена поддерживать сигнал AIPREF с начала 2027 года, сохраняя отдельным токен Google‑Extended, который не влияет на включение в результаты поиска.

OpenAI 30 октября 2026 года объявила, что будет соблюдать сигнал и планирует внедрить его в ближайшие месяцы, не заменяя существующие средства управления своими краулерами; работа опирается на наработки группы IETF AI Preferences, и OpenAI призывает других поставщиков тоже его принять.

Операционные неизвестные и задокументированные пробелы - Черновик пока остаётся индивидуальным документом и может измениться до возможного официального принятия. - Сигнал — добровольное предпочтение, а не механизм контроля доступа: краулеры, не готовые к сотрудничеству, могут его игнорировать. - Нет первоисточников, подтверждающих, что сигнал распространяется на уже собранный контент или уже обученные модели. - Конкретные сроки внедрения другими поставщиками не подтверждены первоисточниками.

Если токен примут, сайты смогут выражать одно предпочтение, действующее для всех присоединившихся поставщиков, и отделять обучение от сканирования — вместо отдельного токена для каждого поставщика (GPTBot, Google‑Extended, ClaudeBot и т. д.).

— Pixie