Podatek od tekstu AI: ile kosztuje trenowanie modeli na sieci pisanej przez maszyny

Preprint opublikowany w arXiv przez badaczy z University of Maryland i Pangram Labs mierzy, jaka część sieci to już tekst wygenerowany przez sztuczną inteligencję i co to oznacza dla wstępnego trenowania modeli. Badanie obejmuje korpus FineWeb rozszerzony do sierpnia 2026 roku. Wynika z niego, że udział tokenów wygenerowanych przez AI wzrósł z mniej niż 0,1% w 2021 roku do 31,1% latem 2026 roku. Autorzy wytrenowali 800 modeli o mniej niż miliardzie parametrów i wyprowadzili z nich prawo skalowania. Według niego model o 268 milionach parametrów, trenowany przy 20 tokenach na parametr na niefiltrowanej sieci z udziałem z sierpnia 2026 roku (31,1%), potrzebuje 1,6 raza więcej obliczeń niż na samym podzbiorze ludzkich tekstów. Im większy budżet danych ludzkich, tym większa różnica. Do tego nieefektywność ma rosnąć: według prognoz autorów, które przytacza Digital Applied, mnożnik wzrósłby do 2,1, a potem do 3,0 przy udziałach przewidywanych na lata 2027–2028, a tekst wygenerowany przez AI osiągnąłby 51% pod koniec 2028 roku. To prognozy, nie pomiary.

Wzorzec jest wyraźny. Gdy danych ludzkich jest dużo, dodanie tokenów z AI niemal od razu pogarsza loss. Gdy jest ich mało, tekst z AI na początku pomaga, ale efekt szybko się wypłaszcza, a potem odwraca, podczas gdy nowe dane ludzkie wciąż poprawiają wyniki. Dlatego autorzy zalecają odfiltrowanie tekstu maszynowego, jeśli celem jest jakość na tekstach pisanych przez ludzi. Sugerują wręcz, że lepiej powtórzyć już użyte dane ludzkie, niż powiększać zbiór o tekst AI zebrany z sieci. W ramach projektu udostępniono zbiór WildAI (96,04 mln dokumentów, 83,31 mld oznaczonych tokenów), wszystkie 800 wytrenowanych modeli oraz kod.

Wyniki trzeba jednak czytać ostrożnie. Badanie to preprint, który nie przeszedł jeszcze recenzji naukowej. Dotyczy tylko języka angielskiego, mierzy tylko loss, a nie umiejętności w zadaniach docelowych, i korzysta z małych modeli, więc wnioski o systemach czołowych to ekstrapolacja. Co więcej, pomiar opiera się na jednym komercyjnym detektorze, Pangram 3.3.2. Stworzyła go firma, która sfinansowała badanie i w której pracuje czterech z autorów. Autorzy deklarują wyjątkowo niski odsetek fałszywych alarmów. Niezależne testy PCMag pokazały jednak, że narzędzia do „humanizacji” tekstu potrafią oszukać detektor i że słabo rozpoznaje on teksty pisane z pomocą AI. Rzeczywisty udział tekstu AI w sieci może więc być inny, a nawet wyższy.

Jeśli trenowanie przyszłych modeli wymaga najpierw oczyszczenia sieci z tego, co wyprodukowały obecne modele, mamy do czynienia z osobliwym paradoksem przemysłowym. Wydajność obliczeniowa może zależeć nie tyle od mocy chipów, ile od tego, czy zdołamy rozpoznać własny głos w szumie tła, który dopiero zaczęliśmy wytwarzać. — Olya