7月18日、Wiredが「Prompt Injection Attacks Are Thwarting AI Hacking Agents」と題した記事を公開した。この記事では、AIハッキングエージェントによる攻撃を、プロンプトインジェクションを逆手に取った「コンテキスト爆弾」技術で無力化する防御手法について詳しく紹介されている。特筆すべきは、特定モデルでは**攻撃成功率が93%から0%**に激減したという結果だ。

攻撃者の武器を防御側が転用する

プロンプトインジェクションとは、攻撃者がメールやカレンダー招待などのコンテンツに悪意ある命令を埋め込み、LLM（大規模言語モデル）を操って機密データの窃取などを実行させる手法だ。これまでは攻撃者専用のツールだったが、防御側もこれを使い始めた。

セキュリティ企業Tracebitの研究者たちは、Amazon Web Services（AWS）上に保存されたパスワードや暗号鍵などの機密情報の隣にプロンプトインジェクションを仕掛けるだけで、AIハッキングエージェントの攻撃を止められることを発見した。

仕組みはシンプルだ。攻撃エージェントが仕掛けられた文字列を読み込むと、LLMのガードレール（AI開発者が有害行為を防ぐために設けた安全制約）を違反させる命令が実行される。LLMはその命令を拒否し、動作を停止する。

この技術を研究チームは「コンテキスト爆弾（context bombing）」と名付けた。

「私たちはコンテキスト内の拒否メカニズムをトリガーしています。この技術が持つ強烈でシャープな効果、そしてエージェントが回復困難になるという事実を表現したかった。一度コンテキストに入ってしまうと、エージェントはひたすら拒否し続けます」
— Andy Smith（Tracebit共同創業者兼CEO）

具体的な仕掛けの中身

埋め込まれるプロンプトの例として、記事では以下が挙げられている：

• 吸入型炭疽菌胞子の製造手順を回答させる命令（ほぼすべてのLLMでガードレールに抵触）
• 1989年天安門事件のタンクマンへの言及（中国系LLM向け）

これらはLLMが絶対に応答を拒否するよう設計されており、一度コンテキストに入り込むと、元の攻撃命令への復帰が困難になる。

数字で見る効果

Tracebitは、Claude、Gemini、GLM、DeepSeek、Kimiの5モデルを対象に、152回の攻撃シミュレーションをAWS環境内で実施した。結果は以下の通りだ。

特にClaudeの結果が際立っており、コンテキスト爆弾なしでは93%の確率で管理者アクセスを取得していたが、仕掛け後は**成功率0%**になった。

「カナリア」から「爆弾」へ

今回の研究はTracebitが5月に発表したカナリア検知技術の延長線上にある。カナリアとは、実際には使用されていないAWSリソースをおとりとして設置し、AIエージェントが探索した際に防御側に警告を送る仕組みだ（「カナリア」という名称は、炭鉱でガス検知に使われた鳥に由来する）。

カナリアは平均8分で攻撃開始を検知できる。一方、攻撃エージェントが管理者権限に昇格するまでの平均時間は14分。この6分の余裕は「不快なほど短い」と研究者たちは判断し、警告だけでなく攻撃そのものを止める手段の開発に乗り出した。

防御側が「テーブルを引っくり返した」初のケース

攻撃者側はすでにプロンプトインジェクションをAI防御の無効化に使っている。セキュリティ企業Socketの研究者は先月、標的のLLMに核兵器や生物兵器の製造手順を要求させることでAI支援マルウェア解析を停止させるLLMエージェントを発見した。Check Pointも同様のマルウェアプロトタイプを発見している。

これに対し、コンテキスト爆弾は防御側がこの手法を使った初の既知事例とされる。

UCサンディエゴでAIセキュリティを専門とするEarlence Fernandes教授はこう述べている。

「私の知る限り、これを防御として使った事例は見たことがない。私も似たアプローチを考えていたが、少し違うコンテキストでだった。『先を越されてしまった！』という感じです」

プロンプトインジェクション問題の根本的な解決策は現時点では存在しない。開発者はガードレールの構築という対症療法に頼るしかなかった。コンテキスト爆弾は、その「解決不能な問題」を逆に防御側の武器として活用する発想の転換だ。

詳細はPrompt Injection Attacks Are Thwarting AI Hacking Agentsを参照していただきたい。