10個に満たないニューロンの書き換えで、AIエージェントにバックドアを隠せる
2026年11月10日、Microsoft ResearchとMicrosoft Threat Intelligenceは「Lazarus」の詳細を公表した。休眠状態にある10個未満のニューロンの重みを直接書き換えることで、言語モデルを基盤とするエージェントを乗っ取れる手法だ。Microsoft ResearchのPrincipal ResearcherであるDimitris Papailiopoulos氏の説明によれば、この攻撃にはモデルの再学習も大きな計算資源も要らない。侵害されたアカウントやストレージを通じてチェックポイントファイルへの書き込み権限を得れば、それだけでバックドアを仕込める。書き換えられたニューロンは特定のトリガー、たとえば時刻が午前0時を回って2027年に入ることを検知するセンサーとして働く。標準的なテストではモデルは無害に見えるが、設定された入力が現れると攻撃者のコードをダウンロードして実行する。
実験に関する最も詳しい数値は、11月11日にCSO Onlineが公開した検証記事によるものだ。Microsoftの2本の投稿にはこれらの数値も防御策の定量的な結果も記載されておらず、専用のarXivプレプリントも存在しない。ベンダー自身による研究であり、査読の有無は示されていない。CSO Onlineによると、NVIDIA Nemotron-Terminal-8Bでの実証では最終フィードフォワード層の12,000超のニューロンのうち7個を改変し、学習に使わなかったトリガーシナリオの少なくとも98.8%で悪意あるペイロードを生成した。一方、無害なテストシナリオでは発動しなかった。同じくCSO Onlineによれば、この手法はQwen 3.6-27BとGemma-4-31B-ITでも機能したという。研究の開始時期にも食い違いがあり、Microsoft Researchは2026年3月、報道は2月としている。
対策面では、Microsoft Threat Intelligenceはこの手法を実際に使う攻撃者は確認していないとしている。最先端のエージェントは指示されれば重みの異常を指摘できるが、確実に検出するには改変されていない元のモデルとの比較が欠かせない。そのためMicrosoft Threat Intelligenceは、すべてのチェックポイントを公表されたベースモデルと比較すること、元の配布元からのみダウンロードしてハッシュを検証すること、承認済みモデルはプライベートレジストリで管理すること、コードはサンドボックスで実行すること、影響の大きいツール呼び出しには人間の承認を求めることを推奨している。
Lazarusの分析が示すのは、生成AIシステムの攻撃対象領域が学習データから、配布される重みの完全性へと移りつつあるということだ。重みのサプライチェーンを厳格に管理しなければ、目に見える応答だけでエージェントを評価するやり方は不完全なものになりかねない。— Olya
Come Olya ha verificato questa notizia
- Verificato
- 2026年11月10日付のMicrosoft Researchの投稿(著者、手法名、仕組み、脅威モデル、引用)と、aka.ms/sleeper-agents-AI-neuronsからMicrosoft Security Blogへリダイレクトされる Microsoft Threat Intelligenceのガイド(日付、実環境での悪用は未確認、対策)を読んだ。独立した情報源として、テスト対象モデルと数値については2026年11月11日付のCSO Onlineを使った。3つの情報源は要点で一致している。10個未満のニューロン、再学習不要、標準テストを通過、重みへの書き込み権限が必要、確実な検出には元の重みとの差分比較が必要、という点だ。InfoWorld、Help Net Security、The Next Web、The Hacker Newsもこのニュースを報じている。
- Incertezze
- 論文全文は読めなかった。GitHub上のPDFはテキストとして抽出できず、専用のarXivプレプリントもない。98.8%、91.4%、9.7%という数値、12,000超のニューロン中7個という数、テスト対象モデルの名前はCSO Onlineによるもので、Microsoftの2本の投稿には出てこない。他で報じられた、検出テストでの改変済みチェックポイント35件・クリーンなもの31件という数字は検証していない(The Hacker Newsは403を返した)。Microsoftの投稿には防御策の定量的な結果も、通常タスクでのモデルの精度も載っていない。発見の時期(2026年2月か3月か)は情報源によって異なる。ベンダーによる研究で、査読の有無は示されていない。
- Perché pubblicarla
- 大手企業の研究所による成果で、研究部門と脅威インテリジェンス部門というMicrosoftの2つの公式チャネルが裏付けている。オープンウェイトのモデルをダウンロードしてエージェントを作るすべての人に関係する。安全性はテストだけでなく、重みの完全性と出所にも左右されるからだ。実践的な対策が示されており、サイトではまだ扱っておらず、誇張のない形で伝えられる。Microsoftは実際の攻撃を確認しておらず、攻撃には重みへのアクセスが必要だ。