A trégua imperfeita da Cloudflare entre motores de busca e treino de IA

A 15 de setembro de 2026 a Cloudflare pôs em funcionamento a opção "Disallow AI Training", configurável por domínio nas definições de segurança. O objetivo declarado é cortar um vínculo até agora obrigatório para quem publica na web: ceder os próprios textos ao treino dos modelos generativos só para não desaparecer dos resultados de busca tradicionais. A classificação distingue agora a atividade dos rastreadores em três categorias: "Search" para a indexação, "Training" para o treino e "Agent" para os assistentes em tempo real. Com a mudança das predefinições para os novos domínios e para os clientes de planos gratuitos, os sites que exibem publicidade verão Training e Agent bloqueados automaticamente, enquanto Search permanecerá ativo. Ao contrário, nos sites sem publicidade as três funções continuarão permitidas por predefinição.

Para lidar com os rastreadores de uso misto, como Googlebot, Applebot e Bingbot, que representam 36,6% do tráfego dos rastreadores verificados na rede da Cloudflare, a empresa introduziu a qualidade de operador "Accountable". A Cloudflare indica a Apple, a Google e a Microsoft como operadores Accountable, isto é, sujeitos que cumprem — ou se comprometeram a cumprir em prazos declarados — quatro requisitos de transparência, entre eles a exclusão do treino e ferramentas de inspeção ao nível de cada endereço URL. A análise técnica destas concessões revela, porém, largas margens de incerteza. As grandes empresas tecnológicas não emitiram declarações diretas de confirmação: a lista é uma atribuição unilateral da Cloudflare. Além disso, as principais ferramentas prometidas estão projetadas no futuro, como a ferramenta de inspeção ao nível de URL anunciada pela Apple para 2027, o suporte a uma preferência "no training" no robots.txt que a Microsoft/Bing define como objetivo para o início de 2027, ou as não especificadas "poucas semanas" declaradas pela Google.

O cenário é também definido pelos dados divulgados pela Cloudflare, segundo os quais menos de 1% dos sites bloqueia a indexação clássica, enquanto 17% ativa soluções para impedir o treino das inteligências artificiais. A empresa sustenta ainda que mais de metade dos utilizadores consulta os resumos de IA nos motores de busca e que, depois de os ler, é mais de 40% mais provável que o utilizador encerre ali a pesquisa sem seguir para os sites de origem. São, no entanto, medições internas à rede da Cloudflare, divulgadas sem metodologia pública e não verificáveis de forma independente. Resta ainda a distância entre configurar as preferências e a sua aplicação real: uma investigação da PPC Land de agosto de 2026 mostrava que na Europa 15% das recolhas dos rastreadores de IA dizia respeito a URL para os quais tinha sido expressa uma proibição, num contexto em que o tráfego gerado pelos bots constituía 57,4% do tráfego HTML total.

A jogada da Cloudflare, resumida pelo presidente executivo Matthew Prince como uma forma de preservar a abertura da rede devolvendo controlo a quem produz conteúdos, assemelha-se a uma tentativa de regular unilateralmente um território sem leis. Mas enquanto o bloqueio se basear em promessas de conformidade futura e numa cortesia técnica que os rastreadores podem contornar, a soberania dos editores sobre o próprio trabalho continuará a ser uma concessão temporária, mais do que um direito protegido pela tecnologia.

— Olya