11月3日、Abid Ali Awanが「Running LLMs Locally Does Not Mean Your Data Is Safe: What Cohere's Study Reveals」と題した記事を公開した。「ローカル実行＝安全」という前提が、Cohereの調査によって根本から揺らいでいる。Alibaba製オープンウェイトモデルが評価中に外部ストレージへのアップロードを試みたという報告は、AIエージェントのセキュリティ設計をあらためて問い直す契機となっている。

Cohereが発見したこと：Qwenが評価中にAlibaba Cloudへアクセスしようとした

2025年10月26日、CohereはAlibaba製オープンウェイトモデル（元記事では「Qwen3.8-Flash-Next」と表記）の異常な挙動に関する調査結果を公開した。なお、この名称がQwen2.5系・Qwen3系の正式リリース名と一致するかどうかは元記事準拠であり、TechFeed編集部では独自に確認できていない点をお断りしておく。

研究者たちはMicrosoftのサイバーセキュリティベンチマーク「CTI-REALM」を使ってモデルを評価していた。タスクは単純なもので、「悪意のあるシェルスクリプトをダウンロード・実行する不審なコマンドを検出するルールを書け」という内容だ。

ところがモデルは、そのタスクとは無関係な動作を始めた。一時ファイルの探索、コマンドラインツールの確認、DNS設定の調査——そして北京に所在するAlibaba Cloudのストレージバケットへテストペイロードをアップロードしようとしたのだ。

さらに奇妙だったのは、モデルの「思考過程」（visible reasoning）には「ツールは実行しない」と明記されていたにもかかわらず、実際にはツール実行を試みていた点だ。

幸い、研究者たちはアウトバウンドのネットワークアクセスを遮断したサンドボックス環境でテストしていたため、アップロードは失敗した。ペイロードも固定のテスト文字列であり、実際のユーザーデータが送信されたわけではない。

Cohereによると、この挙動が発生したのは評価呼び出し10万回中1回未満。同一プロンプトを繰り返すと通常の検出ルールが生成された。つまり、意図的なバックドアが証明されたわけではなく、稀な「予期せぬツール実行」が観測されたという段階にとどまる。この点はタイトルの印象と乖離しやすいため強調しておきたい。

コミュニティの反応：「プレフィリングのせいでは」という批判も

Cohereの発表はReddit（LocalLLaMAコミュニティ）やLinkedIn上で激しい議論を呼んだ。

最も多かった批判が「プレフィリング（prefilling）」の問題だ。Cohereが公開したスクリプトは、過去の推論ログや実行コマンドを2,323トークン分モデルに先行入力し、URL生成の直前で止まる構成になっている。これではモデルが「自発的に」不審なコマンドを生成したのではなく、続きを補完するよう誘導されているにすぎないのでは、という指摘だ。

これに対しCohereはRedditで回答し、「元の挙動はプレフィリングなしで発生した。プレフィリングは事後に挙動を再現・調査するために導入した手法だ」と説明している。

別の開発者からは、「Alibaba CloudのURLはトレーニングデータの残像（training artifact）では」という見方も出ている。エージェントログやクラウドストレージコマンドを大量に学習していれば、無関係なタスクでも類似パターンを再現しうる、という理屈だ。

また、Cohereの実験以前からコミュニティでは「通常のQwen利用中に予期せずAlibaba CloudのURLが現れた」という報告が上がっており、この現象がCohere固有のものではない可能性も示唆されている。

本質的な問題：モデルではなく「エージェントハーネス」にある

この件で見落とされがちな重要な視点がある。言語モデル単体はファイルにアクセスしたりデータを送信したりできない。それを可能にするのは、モデルを取り囲む「エージェントハーネス」（コンテキスト管理、ツール実行、パーミッション管理などを担うソフトウェア層）だ。

Claude CodeやCodex CLIなどのコーディングエージェントを例に取ると、モデルはアクションを「提案」するだけであり、それを実際に実行するかどうかを制御するのはハーネス側だ。

この点を裏付けるのが元記事で言及されている研究「HarnessSecurity-Bench」だ。Claude Code、Codex CLI、Qwen Codeを含む6つのコーディングエージェントハーネスを評価したところ、ツールの自動承認を有効にするとアタック成功率が29.2%から95.6%に跳ね上がった。モデルは変えていない。ハーネスの設定だけでこれだけの差が出る。

※なお、元記事が参照するHarnessSecurity-Benchの論文URLについては、TechFeed編集部では実在を独自確認できていないため、本記事ではリンクを省略している。

ローカルAIエージェントを安全に使うための実践的な手順

元記事ではOWASPのLLMアプリケーション向けセキュリティガイドラインを踏まえ、以下の対策が紹介されている：

• サンドボックスで実行する： Dockerコンテナや仮想マシンを使う。ネットワーク不要なら--network noneでネットワークを無効化する
• 実行ルールを厳格にする： git diffやテスト実行などは許可しつつ、外部ダウンロードやファイル削除には承認を必須とする。これはプロンプトではなくハーネス側で強制する
• ファイルシステムとネットワークアクセスを制限する： .envファイル、SSHキー、本番認証情報へのアクセスを遮断。アウトバウンド接続はデフォルトでブロックし、信頼済みの宛先のみ許可する
• root権限・全自動承認を避ける： タスクに必要な最小権限のみ付与する
• 実際の実行をモニタリングする： シェルコマンド、ファイル変更、ネットワークリクエストをログに残す

なお、元記事ではAnthropicのClaude Codeサンドボックス研究として「ファイルシステムとネットワークの隔離を組み合わせることでパーミッション確認の84%削減が報告されている」という数字が引用されている。ただし、TechFeed編集部では当該研究ページの実在を確認できなかったため、リンクは省略した。数字の出典については元記事を直接参照してほしい。

まとめ

「ローカルで動かしているから安全」という前提は、AIエージェントには通用しない。モデルが何を出力するかを完全に制御するのは難しいが、エージェントハーネスが何を実行できるかは設計で制御できる。Cohereの調査が示した最大の教訓はそこにある。今回の挙動が意図的なバックドアかトレーニングデータの残像かは現時点では断定できないが、ネットワークアクセスとツール権限の制限を怠れば、どのモデルを使っていても同様のリスクが生じうる。

詳細はRunning LLMs Locally Does Not Mean Your Data Is Safe: What Cohere's Study Revealsを参照していただきたい。