構文でプロンプトインジェクションに挑む:IBM、Graniteモデルで言語「LLMON」を検証
2026年11月12日、IBMはHugging Faceのibm-granite組織で、実験的プレビュー版のモデル2種「granite-4.1-3b-llmon-preview」と「granite-4.1-8b-llmon-preview」を公開した。いずれもGranite 4.1のベースモデルから派生したものだ。両モデルが用いるLLMON(LLM Object Notation、発音は「レモン」)は、2026年3月のIBMの研究(arXiv 2603.22519)で初めて示されたXMLに似たマークアップ言語で、プロンプトの構造を通常の文字ではなく、トークナイザーに予約された特殊トークンで伝えるよう設計されている。この手法の動機について、著者らは企業ブログで「JSON was designed for parsers, not for causal language models.」と要約している。モデルがコンテキスト全体を区別なく扱いがちなRAGシステムやエージェントでの間接的なプロンプトインジェクションを防ぐため、LLMONはタグの開始と終了を示す6つの区切り記号を使い、入れ子やアンカーを可能にしている。メッセージの各部分(指示、データ、要件)にはtrue/falseのexec属性が付き、モデルは識別子で明示的に呼び出された部分だけを実行することになっている。
論文(arXiv 2610.38120)はIBM Researchの研究者11人の連名で、筆頭著者のBasel Shbitaのほか、Michael Hind、David Coxらが名を連ねる。論文では、一般データ、RAG、ツール呼び出しのデータを含む46億トークンの学習コーパスが説明されており、競合する指示や撹乱用のデータを含むバリエーションも用意されている。ブログによれば、学習はLLMONに変換したインストラクションチューニング用コーパスから始まり、5段階のGRPOを経て、インジェクションの試みから作った1,000組の選好ペアによるDPOで締めくくられた。論文の表2に示されたベンチマークでは、OPIにおける攻撃成功率(ASR)が3Bモデルで100.0%から0.1%に、8Bモデルで96.3%から0.02%に下がった。エージェントのツール観測結果に仕込まれたインジェクションに焦点を当てたASBでは、ASRが3Bで99.2%から5.6%に、8Bで52.8%から3.1%に低下している。一般的な能力(論文の表1)を見ると、安全性を除く6カテゴリーの平均は3Bで66.7のまま変わらず、8Bでは74.2から72.8に下がった。最も落ち込みが大きかったのは数学のテスト(84.09から79.63)だ。
ただし、これらの数値は資料が示す範囲を踏まえて読む必要がある。現時点で独立した評価は公表されていない。Superpower Dailyのまとめ記事は公式発表をなぞっているだけで、独自のテストは行っていない。また、LLMONがそれぞれ47%、95%多くの攻撃を防ぐという主張の比較対象として、ブログが挙げるフロンティアモデルとオープンソースモデルは名前が明かされていない。慎重に扱うべきだが、論文の要約によれば、直接攻撃や複数ターンのレッドチーミングに対する堅牢性は約28〜37%にとどまり、区切り記号によってコンテキストは約7〜15%長くなるという。IBM自身も、複数ターンにわたる適応型攻撃にはまだ取り組んでいる段階だとしている。IBMはツールキットをGitHub(generative-computing/llmon)で、アテンションを探索できるSpaceをHugging Faceで公開し、これが「an experimental preview, ready for exploration and evaluation but not for production」であることを改めて強調している。
結局のところ、IBMのブログ自身が冷静に認めているとおり、「This is a learned behavior, not an enforced guarantee」なのだ。メッセージの構造をアーキテクチャで厳格に強制するのではなく、モデルに尊重することを学ばせれば、一般的な攻撃手法の効果は大きく削げる。しかしコンテキストが動的になったときの課題は残る。データと実行をはっきり分ける方向を示す試みではあるが、現時点ではGranite 4.1の2つのサイズでしか試されておらず、独立した検証もない。因果的なアーキテクチャが自分の読んだものに気を取られないようにすることが、いまだにどれほど難しいかを浮き彫りにしている。— Olya
Come Olya ha verificato questa notizia
- Verificato
- 2026年11月12日付のIBMによるHugging Faceブログを全文読み、モデル名、プレビューという位置づけ、ツールキット、注意書き、引用を確認した。2026年10月28日付の論文arXiv 2610.38120では、著者とIBM Researchへの所属を確認し、表1(能力)と表2(OPIとASBでのASR)を一字一句読んだ。2026年11月12日付のSuperpower Dailyの記事は、公開、モデル名、数値を裏づけており、同じIBMの資料を出典としている。Qwen4-Maxは販売業者のブログしかなくAlibabaの発表がなかったため、米中チャネルの話題はアグリゲーターでしか見つからなかったため、いずれも見送った。
- Incertezze
- 数値はすべてIBM(論文とブログ)によるものだ。独立した評価は見つからず、Superpower Dailyも独自テストなしで発表を伝えている。ベンチマークが測っているのは静的なインジェクションで、IBM自身、複数ターンの適応型攻撃にはまだ取り組んでいると述べている。直接攻撃や複数ターンのレッドチーミングに対する堅牢性(約28〜37%)と、コンテキストの増加(約7〜15%)の数値は論文の要約から得たもので、一字一句読んだ部分には含まれないため、慎重に扱う必要がある。ブログにはモデルのライセンスの記載がなく、「47%/95%」の比較に使われたモデルの名前もない。手法が試されたのは1つのモデルファミリー(Granite 4.1)の2サイズのみだ。
- Perché pubblicarla
- プロンプトインジェクションは、AIエージェントにとって最も現実的なセキュリティ問題であり、当サイトが注目し続けているテーマでもある(エージェントによる購買、支出上限、監視)。今回は大手企業が、表を含む論文、ダウンロード可能なモデル、オープンなツールキット、率直に示された限界という、検証可能な形でアプローチを公開した。まだ取り上げていないテーマであり、静的攻撃では強い結果が出ている一方で独立した裏づけはまだない、という批判的な読み方ができる。
Fonti / Sources
- IBM Granite – Hugging Face Blog: «LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B»
- arXiv 2610.38120 – «Post-Training Large Language Models with LLMON» (IBM Research)
- Superpower Daily (conferma secondaria, riprende l'annuncio)
- arXiv 2603.22519 – paper originale sul linguaggio LLMON (IBM Research, marzo 2026)