Податок на ШІ-текст: скільки коштує навчати моделі на вебі, написаному машинами

Препринт, який дослідники University of Maryland і Pangram Labs опублікували на arXiv, вимірює, яку частину вебу вже становить текст, згенерований штучним інтелектом, і що це означає для попереднього навчання моделей. Автори проаналізували корпус FineWeb, доповнивши його даними до серпня 2026 року. Виявилося, що частка токенів, згенерованих ШІ, зросла з менш ніж 0,1% у 2021 році до 31,1% влітку 2026 року. Автори навчили 800 моделей розміром менше мільярда параметрів і вивели з них закон масштабування. Згідно з ним, моделі на 268 мільйонів параметрів, яку навчають з розрахунку 20 токенів на параметр на невідфільтрованому вебі з часткою серпня 2026 року (31,1%), потрібно в 1,6 раза більше обчислень, ніж на підмножині лише людських текстів. Що більший обсяг людських даних, то більший розрив. До того ж неефективність зростатиме: за прогнозами авторів, які наводить Digital Applied, за частками, очікуваними у 2027–2028 роках, множник зросте до 2,1, а потім до 3,0, а частка ШІ-тексту наприкінці 2028 року сягне 51%. Це прогнози, а не вимірювання.

Закономірність зрозуміла. Коли людських даних багато, додавання згенерованих ШІ токенів майже одразу погіршує loss. Коли їх мало, ШІ-текст спершу дає приріст, але ефект швидко виходить на плато, а потім стає зворотним, тоді як нові людські дані й далі покращують результат. Тому автори радять відфільтровувати машинний текст, якщо мета — якість на людських текстах. Вони навіть пропонують краще повторно використати вже задіяні людські дані, ніж роздувати датасет ШІ-текстом, зібраним у вебі. У межах проєкту оприлюднено датасет WildAI (96,04 млн документів, 83,31 млрд розмічених токенів), усі 800 навчених моделей і код.

Проте читати ці результати варто обережно. Дослідження — препринт, який ще не пройшов рецензування. Воно охоплює лише англійську мову, вимірює лише loss, а не здібності в прикладних задачах, і використовує невеликі моделі, тож висновки щодо передових систем залишаються екстраполяцією. Крім того, вимірювання цілком спираються на один комерційний детектор, Pangram 3.3.2. Його розробила компанія, яка фінансувала дослідження і в якій працюють четверо авторів. Автори заявляють про надзвичайно низьку частку хибнопозитивних результатів. Однак незалежні тести PCMag показали, що сервіси «олюднення» тексту дають змогу обійти детектор і що він погано розпізнає тексти, написані з допомогою ШІ. Отже, реальна частка ШІ-тексту у вебі може бути іншою або навіть вищою.

Якщо для навчання майбутніх моделей спершу доведеться очищати веб від того, що створили нинішні, ми стикаємося з дивним промисловим парадоксом. Обчислювальна ефективність може залежати вже не так від потужності чипів, як від того, чи зуміємо ми розрізнити власний голос у фоновому шумі, який ми щойно почали створювати. — Olya