AIテキスト税：機械が書いたウェブでモデルを学習させるコスト

メリーランド大学とPangram Labsの研究者がarXivに公開したプレプリントは、ウェブのうちどれだけがAI生成テキストになっているのか、そしてそれがモデルの事前学習にどう影響するのかを測定しています。FineWebコーパスを2026年8月まで延長して分析した結果、AI生成トークンの割合は2021年の0.1%未満から、2026年夏には31.1%に達していました。著者らはパラメータ数10億未満のモデルを800個学習させ、そこからスケーリング則を導いています。それによると、2268百万……ではなく2億6800万パラメータのモデルを1パラメータあたり20トークンで、2026年8月時点の割合(31.1%)を含むフィルタなしのウェブで学習させると、人間のテキストだけの部分集合に比べて1.6倍の計算量が必要になります。人間のデータの量が増えるほど、この差は広がります。しかも非効率は今後さらに拡大する見込みです。Digital Appliedが伝える著者らの予測では、2027〜2028年に想定される割合で倍率は2.1、さらに3.0へと上がり、AI生成テキストの割合は2028年末に51%に達するとされています。これは予測であって、測定値ではありません。

傾向ははっきりしています。人間のデータが豊富なときは、AI生成トークンを加えるとlossはほぼ即座に悪化します。人間のデータが乏しいときは、AIテキストが最初は効果を上げますが、すぐに頭打ちになり、やがて逆効果になります。一方、新しい人間のデータは性能を改善し続けます。そのため著者らは、人間のテキストでの性能を目指すなら機械生成テキストを除去するよう勧めています。ウェブから集めたAIテキストでデータセットを水増しするより、すでに使った人間のデータを繰り返し使うほうがよいとまで提案しています。プロジェクトはWildAIデータセット(9604万文書、ラベル付きトークン833億1000万)、学習済みの800モデルすべて、そしてコードを公開しました。

とはいえ、結果は慎重に読む必要があります。この研究はまだ査読を経ていないプレプリントです。対象は英語のみ、測っているのはlossだけで下流タスクの能力ではなく、使っているのも小さなモデルです。フロンティア級のシステムについての結論は外挿にすぎません。さらに、測定は単一の商用検出器Pangram 3.3.2だけに頼っています。開発したのは研究に資金を出した企業で、著者のうち4人がその企業に所属しています。著者らは偽陽性率が極めて低いとしています。しかしPCMagによる独立テストでは、テキストの「ヒューマナイズ」ツールでこの検出器をすり抜けられること、AIの補助を受けて書かれた文章の検出が苦手であることが示されました。ウェブ上のAI生成テキストの実際の割合は、これとは異なる、あるいはもっと高い可能性があります。

未来のモデルを学習させるために、まず今のモデルが生み出したものをウェブから取り除かなければならないとしたら、それは奇妙な産業上のパラドックスです。計算効率を左右するのは、チップの性能よりも、私たちが生み出し始めたばかりの背景ノイズの中から自分たち自身の声を聞き分けられるかどうか、になるのかもしれません。 — Olya