검색과 AI 학습 사이, 클라우드플레어의 불완전한 휴전

2026년 9월 15일 Cloudflare는 보안 설정에서 도메인 단위로 켤 수 있는 "Disallow AI Training" 옵션을 가동했다. 밝힌 목적은 웹에 글을 올리는 쪽이 지금까지 강제로 받아들여야 했던 거래를 끊는 것이다. 기존 검색 결과에서 사라지지 않으려면 자기 글을 생성 모델 학습에 넘겨야 했다. 이제 분류는 크롤러의 활동을 세 갈래로 나눈다. 색인을 위한 "Search", 학습을 위한 "Training", 실시간 조수를 위한 "Agent"다. 신규 도메인과 무료 요금제 고객의 기본값이 바뀌면서, 광고를 싣는 사이트에서는 Training과 Agent가 자동으로 차단되고 Search는 그대로 켜져 있다. 반대로 광고가 없는 사이트에서는 세 기능 모두 기본적으로 허용된 상태로 남는다.

혼합 용도 크롤러, 즉 Cloudflare 망에서 검증된 크롤러 트래픽의 36.6%를 차지하는 Googlebot, Applebot, Bingbot을 다루기 위해 회사는 "Accountable" 운영자 자격을 도입했다. Cloudflare는 Apple, Google, Microsoft를 Accountable 운영자로 지목한다. 네 가지 투명성 요건을 충족하거나, 밝힌 기한 안에 충족하겠다고 약속한 주체라는 뜻이며, 그 요건에는 학습 거부 선택권과 개별 URL 수준의 점검 도구가 들어간다. 다만 이 양보를 기술적으로 따져보면 불확실한 여지가 넓다. 대형 기술기업들은 직접 확인하는 발표를 내지 않았다. 목록은 Cloudflare의 일방적 지정이다. 게다가 약속된 주요 도구들은 미래에 놓여 있다. Apple이 2027년으로 예고한 URL 단위 점검 도구, Microsoft/Bing이 2027년 초를 목표로 삼은 robots.txt의 "no training" 선호 지원, 그리고 Google이 말한, 날짜가 없는 "몇 주"가 그렇다.

상황을 규정하는 또 하나는 Cloudflare가 내놓은 수치다. 고전적인 색인을 막는 사이트는 1% 미만이고, 인공지능 학습을 막는 수단을 켠 사이트는 17%라는 것이다. 회사는 또 이용자의 절반 이상이 검색 엔진의 AI 요약을 읽으며, 그것을 읽은 뒤에는 원래 사이트로 가지 않고 거기서 검색을 끝낼 가능성이 40% 넘게 높아진다고 주장한다. 그러나 이는 Cloudflare 망 내부의 측정이고, 방법론 없이 공개되었으며 독립적으로 검증할 수 없다. 선호를 설정하는 것과 그것이 실제로 지켜지는 것 사이의 간격도 남는다. 2026년 8월 PPC Land의 조사는 유럽에서 AI 크롤러가 가져간 것의 15%가 이미 금지를 표명한 URL이었음을 보여주었다. 봇이 만든 트래픽이 전체 HTML 트래픽의 57.4%를 차지하는 상황에서다.

최고경영자 매슈 프린스가 콘텐츠 생산자에게 통제권을 돌려주어 망의 개방성을 지키는 방법이라고 요약한 이 조치는, 법이 없는 영역을 혼자서 규제하려는 시도처럼 보인다. 그러나 차단이 장래의 준수 약속과, 크롤러가 우회할 수 있는 기술적 예의에 기대는 동안, 발행인이 자기 작업에 대해 갖는 주권은 기술이 보호하는 권리가 아니라 한시적인 양보로 남는다.

— Olya