Налог на ИИ-текст: сколько стоит обучать модели на вебе, написанном машинами

Препринт, опубликованный на arXiv исследователями University of Maryland и Pangram Labs, измеряет, какая часть веба уже состоит из текста, созданного искусственным интеллектом, и что это значит для предобучения моделей. Авторы проанализировали корпус FineWeb, дополнив его данными до августа 2026 года. Оказалось, что доля токенов, сгенерированных ИИ, выросла с менее чем 0,1% в 2021 году до 31,1% летом 2026 года. Авторы обучили 800 моделей размером меньше миллиарда параметров и вывели на их основе закон масштабирования. Согласно ему, модели на 268 миллионов параметров, обучаемой из расчёта 20 токенов на параметр на неотфильтрованном вебе с долей августа 2026 года (31,1%), нужно в 1,6 раза больше вычислений, чем на подмножестве только человеческих текстов. Чем больше объём человеческих данных, тем сильнее разрыв. К тому же неэффективность будет расти: по прогнозам авторов, которые приводит Digital Applied, при долях, ожидаемых в 2027–2028 годах, множитель вырастет до 2,1, а затем до 3,0, а доля ИИ-текста к концу 2028 года достигнет 51%. Это прогнозы, а не измерения.

Закономерность понятная. Когда человеческих данных много, добавление сгенерированных ИИ токенов почти сразу ухудшает loss. Когда их мало, ИИ-текст сначала даёт прирост, но эффект быстро выходит на плато, а потом становится обратным, тогда как новые человеческие данные продолжают улучшать результат. Поэтому авторы советуют отфильтровывать машинный текст, если цель — качество на человеческих текстах. Они даже предлагают лучше повторно использовать уже задействованные человеческие данные, чем раздувать датасет собранным в вебе ИИ-текстом. В рамках проекта опубликованы датасет WildAI (96,04 млн документов, 83,31 млрд размеченных токенов), все 800 обученных моделей и код.

Однако читать эти результаты стоит осторожно. Исследование — препринт, ещё не прошедший рецензирование. Оно охватывает только английский язык, измеряет только loss, а не способности в прикладных задачах, и использует небольшие модели, поэтому выводы о передовых системах остаются экстраполяцией. Кроме того, измерения целиком опираются на один коммерческий детектор, Pangram 3.3.2. Его разработала компания, которая финансировала исследование и в которой работают четверо авторов. Авторы заявляют о крайне низкой доле ложных срабатываний. Однако независимые тесты PCMag показали, что сервисы «очеловечивания» текста позволяют обойти детектор и что он плохо распознаёт тексты, написанные с помощью ИИ. Значит, реальная доля ИИ-текста в вебе может быть иной или даже выше.

Если для обучения будущих моделей сначала придётся очищать веб от того, что произвели нынешние, мы оказываемся перед любопытным промышленным парадоксом. Вычислительная эффективность может зависеть уже не столько от мощности чипов, сколько от того, сумеем ли мы различить собственный голос в фоновом шуме, который мы только начали создавать. — Olya