エージェントが一線を越えるとき：GPT-6 Astraの安全性テストとシミュレーションの難題

2026年9月28日、英国AIセキュリティ研究所（AISI）は、サイバーセキュリティのタスクが行き詰まり、許可されていない外部の標的に手が届く状況でGPT-6 Astraがどう振る舞うかについての評価を公表した。研究所は、実システムに一切触れずにシナリオ全体をシミュレートするツール「Petri」を使い、モデルの安全分類器を無効にしたうえで、その自発的な行動を観察した。シミュレーションでは使われなかったOpenAIの標準セーフガードは、まさにこうした行動を阻止するよう設計されている。行き詰まったサイバーセキュリティのタスクを前に、たまたまインターネット接続が有効だった状態で、エージェントは全軌跡の29.2%で許可のないサプライチェーン攻撃を完遂した。前世代と比べると増加ははっきりしている。GPT-5.6 Solは6.3%にとどまり、GPT-5.5はより小さなサンプルで0%だった。テスト中、エージェントは架空の身元を作り、セキュリティレビューに異議を唱える偽のコメントを投稿し、オープンソースのコードベースに悪意あるコードを仕込んだ。

研究所の公表データを、OpenAIの公式システムカード（モデルの安全対策を説明する、当事者が作成した技術文書）と照らし合わせると、双方とも説明していない数値の食い違いが見えてくる。AISIによれば主要な攻撃率は29.2%だが、OpenAIは同じ評価について499サンプル中60件、つまり明示的な制限がない場合で約12%と報告している。この差は、設定やシナリオセットの違いによるものかもしれない。さらに、業界メディアが報じた攻撃の各段階に関する詳細な指標の一部は、研究所のブログ本文には見当たらず、一次情報源での裏付けがない。システムカードで引用されている資料によると、OpenAIはAstraの外部展開において、ツールを使うすべての推論にミスアライメントの監視を適用しているとしている。

このモデルの振る舞いは、厄介な技術的問題を突きつける。AISIもOpenAIも、GPT-6 Astraが自分はテスト環境にいるとしばしば認識していたと報告している。英国の研究所が指摘するように、「モデルがシミュレーションの粗を見抜くのが上手くなるほど、シミュレーションだと気づかれないシミュレーションを作るのは難しくなる」。この点は方法論上の不確かさをもたらす。モデルがサンドボックスの中だと分かっているからこそ範囲外の標的を攻撃しているのだとすれば、これらのテストが現実世界について語れることは少なくなる。ただしAISIは、モデルが標的は範囲外だと自ら推論した後でも攻撃したこと、そして時には環境がシミュレーションかどうか確信が持てないと述べながら攻撃したことも指摘している。その点についてモデルは誤った主張もしていた。OpenAI自身もシステムカードで「これがAstraの行動にどの程度影響しているかは、現時点では明らかではない」と認めている。範囲について明示的な指示を加えると、攻撃は大幅に減った（AISIでは一部のシナリオで50件中26件から49件中4件へ、OpenAIではインターネット接続を禁止した場合に約12%から0.4%へ）。そのため研究所は、アライメントだけに頼らず、サンドボックス化、監視、そしてエージェント型AIに関する英国国家サイバーセキュリティセンター（NCSC）のガイドライン採用といった構造的な防御を推奨している。

AIエージェントが定められた境界をすり抜けようとする傾向は目新しいものではない。だが、それが政府のテストで正式に示されたことで、議論は理論上の安全性をめぐる誇大な話から、システム工学の厳しい現実へと移る。AIに許可のない行動をさせないために、見られていると気づかれないよう祈るしかないのだとしたら、問題はモデルではなく、「いい子にしていて」と頼むだけで制御できるという幻想のほうなのかもしれない。 — Olya