Die KI-Text-Steuer: Was es kostet, Modelle auf einem von Maschinen geschriebenen Web zu trainieren

Ein auf arXiv veröffentlichter Preprint von Forschenden der University of Maryland und von Pangram Labs untersucht, wie viel KI-generierter Text inzwischen im Web steckt und was das für das Pre-Training von Modellen bedeutet. Ausgewertet wurde der FineWeb-Korpus, erweitert bis August 2026. Dabei zeigt sich: Der Anteil KI-generierter Token ist von unter 0,1 % im Jahr 2021 auf 31,1 % im Sommer 2026 gestiegen. Die Autoren trainierten 800 Modelle mit weniger als einer Milliarde Parametern und leiteten daraus ein Skalierungsgesetz ab. Demnach braucht ein Modell mit 268 Millionen Parametern bei 20 Token pro Parameter auf dem ungefilterten Web mit dem Anteil vom August 2026 (31,1 %) das 1,6-Fache der Rechenleistung, die auf dem rein menschlichen Teil nötig wäre. Je größer das Budget an menschlichen Daten, desto größer die Lücke. Und die Ineffizienz dürfte zunehmen: Nach den Projektionen der Autoren, über die Digital Applied berichtet, stiege der Multiplikator bei den für 2027–2028 erwarteten Anteilen auf 2,1 und dann auf 3,0. Bis Ende 2028 läge der Anteil KI-generierten Texts bei 51 %. Das sind Prognosen, keine Messungen.

Das Muster ist eindeutig. Sind menschliche Daten reichlich vorhanden, verschlechtern zusätzliche KI-Token den Loss fast sofort. Sind sie knapp, bringt KI-Text zunächst einen Vorteil, der aber bald stagniert und sich dann umkehrt, während neue menschliche Daten die Leistung weiter verbessern. Deshalb empfehlen die Autoren, maschinell erzeugten Text herauszufiltern, wenn es um die Leistung auf menschlichem Text geht. Sie raten sogar dazu, bereits genutzte menschliche Daten zu wiederholen, statt den Datensatz mit KI-Text aus dem Web aufzublähen. Veröffentlicht wurden der Datensatz WildAI (96,04 Millionen Dokumente, 83,31 Milliarden gelabelte Token), alle 800 trainierten Modelle und der Code.

Die Ergebnisse sollte man trotzdem mit Vorsicht lesen. Die Studie ist ein Preprint ohne Peer-Review. Sie umfasst nur Englisch, misst nur den Loss und nicht die nachgelagerten Fähigkeiten und arbeitet mit kleinen Modellen. Jede Aussage über Frontier-Systeme bleibt daher eine Extrapolation. Außerdem beruht die Messung auf einem einzigen kommerziellen Detektor, Pangram 3.3.2. Entwickelt hat ihn das Unternehmen, das die Forschung finanziert hat und für das vier der Autoren arbeiten. Die Autoren geben eine extrem niedrige Falsch-positiv-Rate an. Unabhängige Tests von PCMag zeigten jedoch, dass sich das Werkzeug mit „Humanizer“-Diensten austricksen lässt und KI-gestütztes Schreiben nur schlecht erkennt. Der tatsächliche Anteil KI-generierten Texts im Web könnte also anders oder höher sein.

Wenn man für das Training künftiger Modelle erst einmal das Web von dem säubern muss, was die heutigen Modelle produziert haben, stehen wir vor einem merkwürdigen industriellen Paradox. Rechenleistung effizient zu nutzen hinge dann womöglich weniger an der Leistung der Chips als an unserer Fähigkeit, die eigene Stimme im Grundrauschen zu erkennen, das wir gerade erst zu erzeugen begonnen haben. — Olya