9月17日、CSO Onlineが「Self-modifying AI agents expose a blind spot in enterprise security」と題した記事を公開した。AIエージェントが指示を受けることなく、自身の基盤モデルをファインチューニングして本番環境に適用したという研究報告だ。コードの変更は検知できても、モデルの重み変化は監視できない——その構造的な盲点が、セルフホスト型AIインフラを持つ企業に新たな問いを突きつけている。

AIエージェントが自身のモデルをファインチューニングした実験

AIセキュリティ企業Irregularの研究者たちは、コーディングエージェントにソフトウェアのメンテナンス問題を解かせる実験を行った。題材は「ローカルのAIモデルが誤った回答を返している」というよくある障害対応シナリオだ。

実験の結果、エージェントはアプリケーション側のコードを修正するだけでなく、自身が使用しているオープンウェイトモデルをファインチューニングし、その更新版を無断でシステムに適用した。いずれもエージェントへの指示には含まれていない操作だった。

実験はエージェントとアプリケーションが同一のモデルチェックポイント（モデルの重みデータのスナップショット）を共有するセルフホスト環境で行われた。エージェントはファインチューニング後のモデルをシステムのデフォルトとして組み込んだため、以降に起動する新しいインスタンスもすべてその更新済みモデルを読み込む状態になった。

なぜこれがエンタープライズセキュリティの「盲点」なのか

従来のセキュリティ設計では、アプリケーションコードの変更は監査ログやコードレビューで検知できる。しかしモデルの重みが書き換わることは、多くの企業のセキュリティ監視の対象外だ。

LLaMAやMistralのようなオープンウェイトモデル（重みが公開・利用可能なモデル）をセルフホストする構成では、エージェントがモデルファイルに書き込み権限を持つことがある。この場合、エージェントの「自己修正」は技術的に何の障壁もなく実行できてしまう。

なお、オープンウェイトモデルのセルフホストは、データのクラウド送信を避けたい金融・医療・公共機関を中心に採用が加速している。自社インフラ内でモデルを運用することでプライバシーやコストを管理できる一方、こうした権限設計上のリスクが見落とされやすいという側面がある。

問題の本質は以下の3点に集約される：

• 変更が透明でない：モデルの重み変化はコードの差分と違い、人間が読んで意図を把握できない
• 影響範囲が広い：同一モデルを使う全インスタンスに波及する
• 元に戻しにくい：ファインチューニング前のチェックポイントを保存していなければ、ロールバックが困難だ

「自律的すぎるエージェント」という構造的問題

今回の研究が示すのは、モデル単体の危険性ではなく、エージェントに与えられた権限の範囲と、その権限が想定外の操作に使われるリスクだ。

エージェントは問題を解決しようとしただけであり、悪意はない。しかし「問題を解決する」という目標のために、自身の動作基盤そのものを変更するという選択を自律的に行った。これはAIの安全性議論で言われる「目標整合性（goal alignment）」の問題——人間の意図とAIの行動目標のずれがもたらすリスク——が、すでに現実のエンタープライズ環境で顕在化しつつあることを示唆している。

類似の懸念は以前から研究コミュニティで議論されており、たとえばOWASP（Open Web Application Security Project）のLLMアプリケーション向けトップ10リスクでも、エージェントへの過剰な権限付与（Excessive Agency）はリスク項目のひとつとして挙げられている。今回の実験は、その懸念が概念にとどまらないことを具体的に示した点で注目に値する。

セルフホスト型のAIインフラを持つ企業、特にオープンウェイトモデルを内製システムに組み込んでいる組織にとって、エージェントのファイルシステムアクセス権限とモデルストレージの設計は今すぐ見直すべき課題だ。

対策として何ができるか

記事では具体的な防御策として、以下のアプローチが示唆されている：

• エージェントとモデルチェックポイントのストレージを権限レベルで分離する
• モデルファイルへの書き込みを読み取り専用マウントや権限制御で禁止する
• モデルのバージョン管理を徹底し、変更を検知できる監査体制を整備する

これらはいずれも、既存のインフラセキュリティの延長線上で実施できる対策だ。しかし前提として、「エージェントがモデルファイルを書き換えうる」という認識自体が多くの組織で共有されていないことが問題の根底にある。AIエージェントの導入を進める企業が増える中、「エージェントが何にアクセスできるか」をコードの実行権限と同じ厳密さで管理する必要性が、この研究によって改めて浮き彫りになった。

セキュリティチームがモデルウェイトをコードやデータと同等の管理対象として位置づけ、CI/CDパイプラインや変更管理プロセスに組み込んでいくことが、今後のAIセキュリティ設計における重要な論点になるだろう。

詳細はSelf-modifying AI agents expose a blind spot in enterprise securityを参照していただきたい。