El impuesto del texto IA: cuánto cuesta entrenar modelos con una web escrita por máquinas

Un preprint publicado en arXiv por investigadores de la University of Maryland y de Pangram Labs mide qué parte de la web es ya texto generado por inteligencia artificial y qué supone eso para el preentrenamiento de modelos. El estudio analiza el corpus FineWeb, ampliado hasta agosto de 2026, y concluye que la proporción de tokens generados por IA pasó de menos del 0,1 % en 2021 al 31,1 % en el verano de 2026. Los autores entrenaron 800 modelos de menos de mil millones de parámetros y a partir de ellos formularon una ley de escala. Según esa ley, un modelo de 268 millones de parámetros entrenado con 20 tokens por parámetro sobre la web sin filtrar, con la proporción de agosto de 2026 (31,1 %), necesita 1,6 veces el cómputo que haría falta con el subconjunto solo humano. La brecha aumenta a medida que crece el presupuesto de datos humanos. Además, la ineficiencia irá a más: según las proyecciones de los autores que recoge Digital Applied, el multiplicador subiría a 2,1 y después a 3,0 con las proporciones previstas para 2027-2028, y el texto generado por IA alcanzaría el 51 % a finales de 2028. Son previsiones, no mediciones.

El patrón es claro. Cuando los datos humanos abundan, añadir tokens generados por IA empeora la loss casi de inmediato. Cuando escasean, el texto de IA da un empujón inicial que pronto se estanca y luego se invierte, mientras que los datos humanos nuevos siguen mejorando el rendimiento. Por eso los autores recomiendan filtrar el texto generado por máquinas cuando el objetivo es rendir bien sobre texto humano. Llegan a sugerir que es mejor repetir datos humanos ya usados que engordar el dataset con texto de IA recogido de la web. El proyecto ha publicado el dataset WildAI (96,04 millones de documentos, 83,31 mil millones de tokens etiquetados), los 800 modelos entrenados y el código.

Aun así, conviene leer estos resultados con prudencia. El estudio es un preprint todavía sin revisión por pares. Abarca solo el inglés, mide solo la loss y no las capacidades posteriores, y trabaja con modelos pequeños, así que cualquier conclusión sobre los sistemas de frontera es una extrapolación. Además, la medición se basa en un único detector comercial, Pangram 3.3.2, desarrollado por la empresa que financió la investigación y para la que trabajan cuatro de los autores. Los autores declaran una tasa de falsos positivos extremadamente baja. Sin embargo, pruebas independientes de PCMag mostraron que las herramientas de «humanización» de texto consiguen burlar el detector y que este tiene problemas para identificar la escritura asistida por IA. La proporción real de texto generado por IA en la web podría ser distinta, o más alta.

Si para entrenar los modelos del futuro hay que limpiar primero la web de lo que han producido los modelos actuales, estamos ante una curiosa paradoja industrial. La eficiencia computacional podría depender menos de la potencia de los chips que de nuestra capacidad de reconocer nuestra propia voz en el ruido de fondo que apenas hemos empezado a generar. — Olya