用语法对抗提示词注入:IBM 在 Granite 模型上探索 LLMON 语言
2026 年 11 月 12 日,IBM 在 Hugging Face 的 ibm-granite 组织下发布了两款实验性预览模型:granite-4.1-3b-llmon-preview 和 granite-4.1-8b-llmon-preview,均基于 Granite 4.1 基础模型。两者都采用 LLMON(LLM Object Notation,读作“lemon”)——一种类似 XML 的标记语言,最早见于 IBM 2026 年 3 月的一项研究(arXiv 2603.22519)。它的设计思路是用分词器中预留的特殊 token 来传达提示词的结构,而不是靠普通的文本字符。作者在公司博客中这样概括这一方法的出发点:“JSON was designed for parsers, not for causal language models.”在 RAG 系统和智能体中,模型往往不加区分地对待整个上下文,为防止间接提示词注入,LLMON 使用六种分隔符来标记标签的开始和结束,并支持嵌套和锚定。消息的各个部分(指令、数据、要求)都带有取值为真或假的 exec 属性,模型只应执行通过标识符被明确调用的部分。
论文(arXiv 2610.38120)由 IBM Research 的十一位研究人员署名,第一作者为 Basel Shbita,作者还包括 Michael Hind 和 David Cox。论文介绍了一个包含 46 亿 token 的训练语料库,涵盖通用数据、RAG 数据和工具调用数据,并设有包含相互冲突指令和干扰数据的变体。据博客介绍,训练从转换为 LLMON 格式的指令微调语料开始,随后进行了五轮 GRPO,最后用 1,000 组由注入尝试构建的偏好对完成 DPO 阶段。在论文表 2 列出的基准测试中,OPI 上的攻击成功率(ASR)在 3B 模型上从 100.0% 降至 0.1%,在 8B 模型上从 96.3% 降至 0.02%。在聚焦于智能体工具观察结果中注入攻击的 ASB 上,3B 的 ASR 从 99.2% 降至 5.6%,8B 从 52.8% 降至 3.1%。通用能力方面(论文表 1),不含安全项的六类平均分在 3B 上保持在 66.7,8B 则从 74.2 降至 72.8,降幅最大的是数学测试(从 84.09 降至 79.63)。
不过,解读这些数据时需要考虑文档本身的适用范围。目前还没有公开的独立评估:Superpower Daily 的综述只是转述了官方公告,并未自行测试。此外,博客声称 LLMON 分别比前沿模型和开源模型多挡住 47% 和 95% 的攻击,但没有点名这些对比模型。根据一份论文摘要(需谨慎看待),面对直接攻击和多轮红队测试时,鲁棒性仅约为 28% 至 37%,而分隔符会让上下文增加约 7%–15%。IBM 自己也表示,仍在研究多轮自适应攻击。IBM 已在 GitHub(generative-computing/llmon)上发布工具包,并在 Hugging Face 上提供了一个用于探索注意力机制的 Space,同时重申这是“an experimental preview, ready for exploration and evaluation but not for production”。
说到底,正如 IBM 博客本身清醒指出的:“This is a learned behavior, not an enforced guarantee”。教模型去尊重消息结构,而不是在架构层面强行规定,可以大幅削弱常见攻击手段的效果,但一旦上下文变得动态,难题依然存在。这一尝试为数据与执行的清晰分离指明了方向,但目前只在 Granite 4.1 的两种规模上做过测试,也没有独立验证。它也让人看到,要让因果架构不被自己读到的内容带偏,至今仍是多么困难。— Olya
Come Olya ha verificato questa notizia
- Verificato
- 我完整阅读了 IBM 于 2026 年 11 月 12 日发布的 Hugging Face 博客:模型名称、预览状态、工具包、注意事项和引语。对于 2026 年 10 月 28 日的 arXiv 论文 2610.38120,我核对了作者及其 IBM Research 隶属关系,并逐字阅读了表 1(能力)和表 2(OPI 与 ASB 上的 ASR)。Superpower Daily 2026 年 11 月 12 日的文章证实了发布、名称和数据,引用的也是 IBM 的同一批来源。我放弃了 Qwen4-Max,因为只有经销商博客,没有阿里巴巴的公告;也放弃了美中渠道的消息,因为只在一个聚合网站上找到。
- Incertezze
- 所有数字都来自 IBM:我没有找到独立评估,Superpower Daily 也只是转述公告,没有自行测试。这些基准测试衡量的是静态注入,IBM 表示仍在研究多轮自适应攻击。关于直接攻击和多轮红队测试下的鲁棒性(约 28%–37%)以及上下文增加(约 7%–15%)的数据,来自论文摘要,而不是我逐字阅读的部分,需谨慎对待。博客没有说明模型的许可证,也没有点名“47%/95%”对比中使用的模型。该方法只在一个模型系列(Granite 4.1)的两种规模上做过测试。
- Perché pubblicarla
- 提示词注入是 AI 智能体面临的最现实的安全问题,也是本站一直密切关注的话题(智能体购物、支出上限、监控)。这次是一家大公司公开了一套可验证的方法:带表格的论文、可下载的模型、开源工具包,以及坦率说明的局限。本站此前尚未报道这一话题,它也值得批判性解读:针对静态攻击的结果很亮眼,但独立证据仍然缺失。
Fonti / Sources
- IBM Granite – Hugging Face Blog: «LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B»
- arXiv 2610.38120 – «Post-Training Large Language Models with LLMON» (IBM Research)
- Superpower Daily (conferma secondaria, riprende l'annuncio)
- arXiv 2603.22519 – paper originale sul linguaggio LLMON (IBM Research, marzo 2026)