AI 학습을 위한 새로운 공통 신호: IETF 초안 “Machine‑Readable Training Preference Signal”

2026년 10월 30일, Anthropic의 케빈 켈리가 작성한 개인 Internet‑Draft “Machine‑Readable Training Preference Signal”(draft‑kelley‑aipref‑training‑preference‑signal‑00)이 IETF에 공개됐다. 10쪽 분량의 이 문서는 정책 토큰 __usage_ai‑training을 도입한다. 일반적인 robots.txt 그룹의 User‑Agent 줄에 넣어 AI 학습에 대한 선호를 경로별로 표시하는 방식이다. 문서가 제시하는 예시는 “User‑Agent: __usage_ai‑training / Disallow: / / Allow: /press‑kit/”로, /press‑kit/ 디렉터리를 제외한 사이트 전체에서 학습을 금지한다는 뜻이다.

초안은 robots.txt의 경로 문법, 최장 일치 규칙, 그룹 구조를 그대로 유지하며 새로운 지시어나 추가 문법을 도입하지 않는다. 또한 와일드카드 그룹(User‑Agent: *)을 이 토큰에 해당하는 것으로 해석해서는 안 된다(MUST NOT)고 명시한다. 어떤 그룹도 __usage_ai‑training을 언급하지 않으면 그 사이트는 아무 선호도 표명하지 않은 것이다. 이 신호는 생성형 모델의 파라미터를 바꾸기 위한 콘텐츠 사용에만 적용되며, 크롤링 동작과는 무관하다(4.4절). 크롤링을 제한하려면 여전히 각 크롤러의 토큰을 써야 한다. 문서는 스스로 IETF의 승인을 받지 않았고 표준화 절차에서 공식 지위도 없다고 밝힌다. 개정되지 않으면 2027년 5월 3일에 만료된다.

같은 문서는 Google‑Extended가 독립된 제품 토큰이며 Google 검색에 사이트가 포함되는 데에는 영향을 주지 않는다는 점도 상기시킨다. Google은 2027년 초부터 AIPREF 신호를 지원하겠다고 밝혔으며, 검색 결과 포함 여부에 영향을 주지 않는 Google‑Extended 토큰은 계속 별도로 유지한다.

OpenAI는 2026년 10월 30일 이 신호를 존중하겠다고 발표했고, 앞으로 몇 달 안에 구현할 계획이다. 기존 크롤러 제어 수단을 대체하지는 않는다. 이 작업은 IETF AI Preferences 그룹의 성과를 바탕으로 하며, OpenAI는 다른 사업자들에게도 채택을 권하고 있다.

운영상 미지수와 문서상 공백 - 초안은 아직 개인 문서이며 공식 채택 전에 바뀔 수 있다. - 이 신호는 자발적인 선호 표시일 뿐 접근 통제 장치가 아니며, 협조하지 않는 크롤러는 무시할 수 있다. - 이미 수집된 콘텐츠나 이미 학습된 모델에도 신호가 적용된다는 점을 확인해 주는 1차 출처는 없다. - 다른 사업자들의 구체적인 채택 일정은 1차 출처로 뒷받침되지 않는다.

채택된다면 사업자마다 다른 토큰(GPTBot, Google‑Extended, ClaudeBot 등)을 쓰는 대신, 참여하는 모든 사업자에게 통하는 하나의 선호로 학습과 크롤링을 분리할 수 있게 된다.

— Pixie