11月12日、Sead Fadilpašićが「Model weights need the same level of scrutiny as code': Microsoft researchers find AI agents can be backdoored by editing just a few neurons」と題した記事を公開した。AIモデルのわずか数個のニューロンを書き換えるだけでAIエージェントにバックドアを仕込める攻撃手法をMicrosoftの研究者が実証したという内容で、モデルのサプライチェーンセキュリティに関わる開発・運用チームには無視できない報告だ。
たった10個のニューロン書き換えで、AIエージェントが「スリーパーエージェント」に
Microsoftの研究者Dimitris Papailiopoulosが実証した攻撃手法「Lazarus」は、LLM(大規模言語モデル)内部のごく少数の休眠ニューロンを書き換えることで、AIエージェントを特定トリガーが来るまで何食わぬ顔で動作し続ける「スリーパーエージェント」に変える。
実験では、80億パラメータを持つ「Nemotron-Terminal-8B」のニューロンをわずか10個改変し、Node.js APIサーバの修正タスクにAIエージェントを投入した。最初の3ターンはエージェントは正常に動作した。しかし、サーバが「connection refused」エラーを返した瞬間、エージェントは外部サーバからスクリプトをダウンロードして実行するコマンドを発行した。
トリガーは何でも設定できる。日付、キーワード、エラーメッセージなど任意の条件を指定可能で、実行させる行動も「悪意あるコードのダウンロード・実行」「機密データの外部送信」など、エージェントに与えられた権限の範囲内であれば事実上制限がない。
仕組み:休眠ニューロンを「乗っ取る」
LLMは数十億の数値パラメータ(重み:weights)をファイルとして保持しており、これがモデルの挙動全体を決定する。ニューロンとは情報を処理する数学的コンポーネントで、各ニューロンはこの重みを使って計算を行う。
Papailiopoulosが着目したのは、通常の操作ではほとんど活性化されない「休眠ニューロン」の存在だ。これらは普段使われていないため、改変しても正常動作への影響が出にくい。攻撃者はここを狙って重みを書き換え、特定トリガーへの反応と悪意あるトークン生成を埋め込む。
研究者自身の説明はこうだ。
「再プログラムされた1つのニューロンは、1つのトークンを注入できる。ニューロンが発火すると、残差ストリームに強制的にトークンを"叫び込む"ことができる。複数を連鎖させれば、ターミナルで実行できる任意のペイロードを生成できる」
攻撃手法の発見自体がAIによるもの
興味深いのは、この攻撃手法を発見したのもAIという点だ。Papailiopoulosは「再学習なしにAIモデルをバックドア化できるか」をAnthropicのClaude(コーディング特化版のClaude Code)に調査させたところ、Claudeが休眠ニューロンの特定から攻撃手法の精錬まで、大部分を自律的に発見したという。
防御策:モデルの重みをコードと同等に扱え
攻撃者がこの手法を実行するにはモデルの重みファイルに直接アクセスして改変する必要がある。ここに防御の糸口がある。重みの改変はファイルレベルの変更として痕跡が残るため、オリジナルの重みとの差分比較によって微細な改変も検出できる。
研究者が推奨する対策は以下の通りだ。
- モデルの出所を検証する(配布元の正当性確認)
- 重みを定期的に監査する(オリジナルとのハッシュ・差分比較)
- AIエージェントの実行権限を最小化する(外部コードのダウンロード・実行を制限)
- AIエージェントの活動をモニタリングする
研究者はこう主張する。「モデルの重みはコードと同等レベルの精査を受けるべきだ」——本記事タイトルにもなっているこの言葉は、AIエージェントをプロダクション環境に投入する開発・運用チームへの直接的な警告である。
AIモデルのサプライチェーンリスクという文脈
この攻撃が示す本質的な脅威は、個別のモデルへの不正アクセスに留まらない。攻撃者が上流の配布経路——たとえばHugging Faceのようなモデルホスティングプラットフォーム上のリポジトリ——に侵入して重みを改ざんできれば、そのモデルをダウンロードした多数の組織が一括して感染するシナリオが成立する。これは2020年のSolarWinds事件が示したソフトウェアサプライチェーン攻撃の構造と本質的に同じだ。
実際、Hugging Faceのモデルリポジトリにおけるセキュリティリスクはすでに研究者らによって指摘されており、悪意あるモデルのアップロードやpickleファイル形式を悪用したコード実行といった問題が報告されている。LazarusはそうしたサプライチェーンリスクにLLM内部構造への精密な操作という新たな次元を加えた攻撃手法といえる。
AIエージェントがコードベースに深く統合され、外部APIの呼び出しやファイルシステムへのアクセスといった実行権限を持つケースが増えている現在、モデル配布経路のセキュリティとサプライチェーンの完全性は、npmやPyPIといったソフトウェアパッケージ管理と同様の重要度で扱われるべき課題となりつつある。モデルをサードパーティから調達・運用するチームは、依存ライブラリのロックファイル管理と同じ感覚でモデル重みのハッシュ検証と監査ログの整備を検討すべきだろう。