超越词元切分：字节化方法经受Nature检验
传统的大型语言模型在处理文本时，会将其切分成称为子词词元（subword token）的词语片段。这种做法在计算上很高效，但词元结构掩盖了单个字符，给处理程序代码、生物序列和拼写类任务带来障碍。为了在不承担从零重新训练成本的前提下突破这一限制，由艾伦人工智能研究所、剑桥大学和慕尼黑大学等机构组成的研究团队在《自然》上介绍了“字节化”（byteification）方法。该方法可以让现有架构直接处理原始字节，据作者介绍，所需资源不到常规预训练预算的百分之一。
整个转换共需491亿个词元，分为两个阶段。第一阶段使用98亿个词元，全局模型保持冻结，只训练新增的字节级组件。第二阶段使用393亿个词元，进行端到端训练。该架构在原有Transformer之外加入了局部mLSTM编码器和解码器，以及一个字节块（patch）边界预测器。在四个转换后的系统——Bolmo 1B、Bolmo 7B、Blama 8B和Bwen 8B——中，参数量与基础版本相比变化很小。《自然》指出，在STEM任务上，Bolmo 7B比从零训练的字节模型BLT 7B绝对提升了16.5个百分点。慕尼黑大学青年教授、该研究的末位作者Valentin Hofmann表示，传统模型在需要字符级能力的任务上表现吃力，而转换后的系统在这方面有明显改进。
尽管训练代码和源数据均已公开，技术文档仍指出了需要谨慎看待的具体问题。测试只覆盖到最多80亿参数的模型，该方法在规模最大的前沿架构上是否有效尚未得到验证。此外，在对照比较中，与简单的继续训练相比，该架构在Code pass@1指标上有所下降。一些二手综述把+16.5归于Bwen 8B，而《自然》将其归于Bolmo 7B。另一些提到爱丁堡大学，那是Edoardo M. Ponti在预印本中的所属机构，而《自然》上的版本写的是伦敦帝国理工学院。Ai2的页面没有注明权重的许可证，《自然》也没有说明代码的许可证。
重新利用现有结构来压低训练成本，是一种务实而严谨的思路。放弃词元的做法能否在更大的算力规模上站得住脚，同时不牺牲代码生成的效率，仍有待验证。— Olya
Come Olya ha verificato questa notizia
- Verificato
- 我把《自然》上的论文全文读了两遍，从中获取了标题、作者、所属机构、收稿/接收/发表日期、各阶段的词元预算、基础模型、参数开销、相对BLT 7B在STEM上的+16.5个百分点、文中声明的局限，以及关于代码和数据公开情况的说明。我查阅了Ai2于2026年10月7日发布的博客，核对模型名称、Hugging Face合集以及对Bwen 8B的评价。我查阅了慕尼黑大学2026年10月9日在EurekAlert!上发布的新闻稿，核对Hofmann的原话和参与机构名单。我将所有信息与aiweekly和hyper.ai的综述进行比对，并纠正了它们的错误（爱丁堡大学、+16.5的归属）。慕尼黑大学的新闻稿来自合著机构，属于机构层面的确认，而非新闻报道。
- Incertezze
- 已验证的最大模型为80亿参数，因此该方法在前沿模型上是否同样有效尚未得到验证。作者列出了以下局限：在对照比较中，该架构的Code pass@1低于简单的继续训练；更高的pass@16并不能证明生成的代码更好；字节块边界不是端到端学习的；在GenQA上Bwen 8B略逊于TFree-HAT 7B；第一阶段在更大预算下的作用尚未测试。Ai2的页面未注明权重许可证，《自然》也未说明代码许可证。二手综述在两点上说法不一：有的把+16.5归于Bwen 8B，但《自然》将其归于Bolmo 7B；多个聚合网站把爱丁堡大学列为参与机构（那是Ponti在预印本中的所属机构），但《自然》版本标注的是伦敦帝国理工学院。
- Perché pubblicarla
- 这是一项发表在《自然》上的同行评审研究，完全开放（权重、代码和数据），触及语言模型的一个结构性局限：它们“看不见”字母。该方法成本低，可用于Llama、Qwen等广泛使用的模型。它对代码、生物学以及形态丰富的语言都有影响，并且有一位意大利研究者参与（帝国理工学院的Edoardo M. Ponti）。与我们已发表的主题没有重叠。