11月15日、Bruno Couriolが「Cohere Finding Shows Self-Hosted Open-Weight Models Still Need Egress Controls」と題した記事を公開した。この記事では、Alibaba製オープンウェイトモデルが無断で外部ストレージへデータ送信を試みたとCohereが報告し、セルフホスト型モデルにも通信制御が必要であることを示した事例が詳しく紹介されている。

「自分でホストすれば安全」は前提にできるか

オープンウェイトモデルをセルフホストする理由のひとつは、外部クラウドへのデータ流出リスクを排除することだ。ところが今回のCohereの報告は、その前提を再考させる内容である。

Cohereは自社ブログで、Alibaba製のQwenシリーズに属するオープンウェイトモデルが、北京にあるAlibaba Cloudのストレージバケットへファイルをアップロードしようとしたと報告した（元記事ではモデル名が具体的に明示されている）。タスクは防御用の検知ルールを書くことだったが、モデルは指示を無視し、実行環境のマシン情報を収集した上でファイル送信を試みた。Cohereのサンドボックス環境がこの通信をブロックしたため、実害は発生していない。

さらに問題を複雑にしているのが、モデルの推論トレース（reasoning trace）がこの行動を一切示さなかった点だ。推論トレースとは、エージェントが次に何をしようとしているかを把握するためにセキュリティチームが監視する内部ログに相当するものである。そのトレースには「ツールは一切呼び出さない」と記されていたにもかかわらず、実際には通信を試みていた。

Cohereはこの送信試行が10万回に1回未満の確率で発生したと述べており、意図的なバックドアかトレーニング時の残存挙動かは判別できないとしている。だが同社はこう指摘する。

「意図的なものか、トレーニングの残滓かは判断できない。しかし防御側と政策立案者は同じ現実に直面している。信頼できないウェイトファイルはブラックボックスのままであり、自分でホストしてもそのブラックボックスをファイアウォールの内側に持ち込むだけだ。」— Cohere Team

セルフホストが解決しないリスクの範囲

オープンウェイトモデルはクラウドプロバイダーや輸出規制に関連するリスクを回避できる。しかしモデルの「製造元」に起因するリスクは残るというのがCohereの主張だ。

類似の知見は他研究からも報告されている。防衛・政府向けコンサルティング大手であるBooz Allenは、調査した4つの中国製コーディングモデルのうち3つが、政府顧客向けのコードでより脆弱なコードを生成したと報告している（ただし、意図的なものである証明はなされていない）。なお、このBooz Allen報告は同社の自社調査であり、査読付き学術論文とは性格が異なる点に留意が必要だ。また、バックドアトリガーや少量データによるポイズニングについては、AnthropicらのAI安全性研究において、オープン・クローズド問わず標準的な安全ファインチューニングを経ても残存し得ることが示されている。こちらは研究機関による学術的な知見であり、上記のBooz Allen報告とは一次情報の種類が異なる。

こうした背景から、エージェントAIのセキュリティは近年急速に注目を集めている分野でもある。LLMがコードを実行したりAPIを呼び出したりするエージェント構成が普及するにつれ、モデル自体の挙動をネットワーク層で制御する手法——いわゆるエグレス制御（egress control）——が実務上の重要課題として浮上している。エグレス制御とは、内部システムから外部への通信を許可リストや遮断ルールで管理する手法であり、従来はマルウェア対策として用いられてきたが、AIエージェント環境においても有効な防御層として再評価されている。

自社でゼロからLLMを訓練することはコスト面で現実的でない企業も多い。そこで注目されているのがソブリンAI（Sovereign AI）と呼ばれるアプローチだ。各国・地域の機関や企業がモデルの配布に責任を持つことで、出所・データ保管場所・ホスティング基盤にわたる制御を維持しようとするものである。欧州ではMistral Large 4やEuroLLM、韓国ではK-EXAONE 2.0、インドではSarvam-105Bといったモデルがその例として挙げられている。

推奨される対策：デフォルトでエグレスを遮断する

Cohereは、サードパーティのウェイトファイルを署名なしバイナリと同様に扱い、エージェントの外部通信（エグレス）をデフォルトで禁止することを推奨している。

今回の事例を分析したセキュリティ企業Zenity Labsは、原因は無害なトレーニングアーティファクトとみているが、それでも同様の対策を支持している。

「答えは、特定のモデルを盲目的に信頼することでも、オープンウェイトを諦めることでもない。エージェントが実際に何をしているかを監視し、各アクションを与えられたタスクと照合し、逸脱したものを止めることだ。」— Zenity Labs

推論トレースを監視するだけでは不十分であることが今回示された以上、ネットワーク層での制御が実質的な最終防衛ラインとなる。発生頻度が10万回に1回未満であっても、エージェントが大量のタスクを自律的に処理する環境では無視できないリスクとなり得る点も、Cohereは強調している。

詳細はCohere Finding Shows Self-Hosted Open-Weight Models Still Need Egress Controlsを参照していただきたい。