La tregua imperfecta de Cloudflare entre los motores de búsqueda y el entrenamiento de la IA

El 15 de septiembre de 2026 Cloudflare puso en marcha la opción "Disallow AI Training", configurable por dominio en los ajustes de seguridad. El objetivo declarado es romper un vínculo hasta ahora obligado para quien publica en la web: ceder sus propios textos al entrenamiento de los modelos generativos con tal de no desaparecer de los resultados de búsqueda tradicionales. La clasificación distingue ahora la actividad de los rastreadores en tres categorías: "Search" para la indexación, "Training" para el entrenamiento y "Agent" para los asistentes en tiempo real. Con el cambio de los valores predeterminados para los dominios nuevos y para los clientes con planes gratuitos, los sitios que muestran publicidad verán bloqueados automáticamente Training y Agent, mientras Search seguirá activo. En cambio, en los sitios sin publicidad las tres funciones seguirán permitidas por defecto.

Para gestionar los rastreadores de uso mixto, como Googlebot, Applebot y Bingbot, que representan el 36,6 % del tráfico de rastreadores verificados en la red de Cloudflare, la empresa ha introducido la condición de operador "Accountable". Cloudflare señala a Apple, Google y Microsoft como operadores Accountable, es decir, sujetos que cumplen —o se han comprometido a cumplir en plazos declarados— cuatro requisitos de transparencia, entre ellos la exclusión del entrenamiento y herramientas de inspección al nivel de cada dirección URL. El análisis técnico de estas concesiones revela, sin embargo, amplios márgenes de incertidumbre. Las grandes empresas tecnológicas no han emitido declaraciones directas de confirmación: la lista es una atribución unilateral de Cloudflare. Además, las principales herramientas prometidas están proyectadas al futuro, como la herramienta de inspección por URL que Apple anunció para 2027, el soporte de una preferencia "no training" en robots.txt que Microsoft/Bing fija como objetivo para comienzos de 2027, o las no precisadas "pocas semanas" declaradas por Google.

El escenario lo definen también los datos difundidos por Cloudflare, según los cuales menos del 1 % de los sitios bloquea la indexación clásica, mientras que el 17 % activa soluciones para impedir el entrenamiento de las inteligencias artificiales. La empresa sostiene además que más de la mitad de los usuarios consulta los resúmenes de IA en los buscadores y que, tras leerlos, es más de un 40 % más probable que el usuario cierre allí la búsqueda sin seguir hacia los sitios de origen. Son, sin embargo, mediciones internas de la red de Cloudflare, difundidas sin metodología pública y no verificables de forma independiente. Queda además la distancia entre configurar las preferencias y su aplicación real: una investigación de PPC Land de agosto de 2026 mostraba que en Europa el 15 % de las descargas de los rastreadores de IA afectaba a URL para las que se había expresado una prohibición, en un contexto en el que el tráfico generado por los bots constituía el 57,4 % del tráfico HTML total.

El movimiento de Cloudflare, resumido por el consejero delegado Matthew Prince como una forma de preservar la apertura de la red devolviendo control a los productores de contenidos, se parece a un intento de regular unilateralmente un territorio sin leyes. Pero mientras el bloqueo se base en promesas de conformidad futura y en una cortesía técnica que los rastreadores pueden eludir, la soberanía de los editores sobre su propio trabajo seguirá siendo una concesión temporal, más que un derecho protegido por la tecnología.

— Olya