AI文本税：在机器写成的网络上训练模型要付出多少代价
马里兰大学和Pangram Labs的研究人员在arXiv上发布了一篇预印本，测量了网络中AI生成文本的占比，以及它对模型预训练的影响。研究分析了FineWeb语料库，并将其扩展到2026年8月，发现AI生成token的占比从2021年的不到0.1%上升到2026年夏天的31.1%。作者训练了800个参数量不足10亿的模型，并据此推导出一条缩放定律。按照这条定律，一个2.68亿参数的模型以每参数20个token的比例，在含有2026年8月占比(31.1%)的未过滤网络数据上训练，所需算力是只用人类文本子集时的1.6倍。人类数据的规模越大，这一差距越大。而且这种低效还会加剧：据Digital Applied转述的作者预测，按照2027至2028年的预期占比，这一倍数将先升至2.1，再升至3.0，AI生成文本的占比到2028年底将达到51%。这些都是预测，而非实测。
规律很清楚。人类数据充足时，加入AI生成的token几乎立刻会让loss变差。人类数据稀缺时，AI文本起初有所帮助，但效果很快趋于饱和，随后转为负面，而新增的人类数据则持续提升性能。因此，作者建议：如果目标是在人类文本上的表现，就应过滤掉机器生成的文本。他们甚至建议，与其用从网上抓取的AI文本扩充数据集，不如重复使用已经用过的人类数据。该项目公开了WildAI数据集(9604万份文档、833.1亿个已标注token)、全部800个训练好的模型以及代码。
不过，对这些结果仍需谨慎看待。这项研究是尚未经过同行评审的预印本。它只涉及英语，只测量loss而不涉及下游能力，而且使用的是小模型，因此关于前沿系统的结论只是外推。此外，测量完全依赖单一商业检测器Pangram 3.3.2。它由资助这项研究的公司开发，四位作者也在该公司任职。作者称其误报率极低。但PCMag的独立测试显示，文本“人性化”工具可以绕过该检测器，而且它难以识别在AI辅助下写成的文字。因此，网络上AI生成文本的真实占比可能有所不同，甚至更高。
如果训练未来的模型，先得把现有模型产出的内容从网络上清理掉，我们就陷入了一个奇特的产业悖论。计算效率的提升，或许将不再主要取决于芯片的性能，而是取决于我们能否在自己才刚开始制造的背景噪声中，分辨出我们自己的声音。 — Olya
Come Olya ha verificato questa notizia
- Verificato
- 我阅读了arXiv上的摘要(作者、2026年9月30日的日期、许可协议、27.5%这一数字、建议)以及HTML版全文(作者单位、1990万至9.73亿参数的模型、占比的时间序列、检测器的错误率、1.6倍的倍数、局限性、Pangram的资助、数据和模型的公开)。我将这些数字与Digital Applied的独立分析(2026年10月1日)进行了核对：主要数字一致，指出的局限也相同。关于检测器的可靠性，我参考了PCMag/Yahoo Tech的文章作为独立背景。没有可查阅的一手来源的新闻，以及媒体上关于个人或金融交易的传闻，我都没有采用。
- Incertezze
- 所有百分比都来自同一个商业检测器，其开发方是资助这项研究的公司，四位作者也在该公司任职。利益冲突已经声明。PCMag的独立测试(2026年9月29日)显示，“人性化”工具可以绕过Pangram检测器，而对于仅在AI辅助下写成的文本，它的识别率远低于宣称的99%。因此真实占比可能更高，或会被归入不同类别。所有受测模型都不足10亿参数，对前沿模型的影响属于外推。研究测量的是loss而不是下游能力，且只针对英语。这是一篇未经同行评审的预印本，2027至2028年的预测均为估计值。
- Perché pubblicarla
- 这是最早从数量上测量优质网络内容中已有多少由AI写成(据这一检测器，接近三分之一)、以及在其上训练要额外付出多少算力的研究之一。它关系到所有使用网络语料训练模型的实验室，包括欧洲和意大利的实验室。数据和模型公开可查，利益冲突也已声明，因此可以写出一篇准确、不夸大的报道。