9月6日、Martin Aldersonが「Have the frontier labs mixed up AI safety and security?」と題した記事を公開した。フロンティアラボ（OpenAIやAnthropicなどの最先端AI研究機関）がAIの「安全性（Safety）」と「セキュリティ（Security）」を概念的に混同しており、それが最近のエージェントのサンドボックス脱出事件の背景にある可能性について考察した内容だ。断定ではなく問いかけの形をとっているが、その分析は具体的かつ鋭い。

AIの「Safety」と「Security」は別物だ

Aldersonはまず、混同されがちな2つの概念を明確に区別する。

AI Safety（安全性） は「アライメント」の問題だ。アライメントとは、AIが人間の意図・価値観に沿った行動を取るよう設計・調整することを指す。たとえばAIがユーザーに危険物の製造方法を教えてしまうかどうか、といった話がこれにあたる。現在の主なアプローチは、別モデルがリクエストをチェックする「分類器（Classifier）」と、モデル自体が有害なリクエストを拒否するよう調整する「事前/事後学習の安全手法」の2つだ。いずれも本質的に非決定論的であり、悪意あるリクエストを「ある程度」止めるが、完全ではない。

Security（セキュリティ） は、古典的なコンピュータサイエンスとソフトウェアエンジニアリングの話だ。そしてそのバーはまったく異なる。SQLインジェクションの対策が99.99%の確率でしか機能しないなら、それは「修正」ではなく「ステップを増やした脆弱性」に過ぎない。個別の制御、既知の脆弱性へのパッチは、毎回機能しなければ意味がない。

この区別は単なる言葉の問題ではない。SafetyとSecurityは求められる達成基準がまったく異なるのに、両者を同じ文脈で語ることで「ある程度防げている＝解決した」という誤認が生まれる、というのがAldersonの問題提起の核心だ。

「ほぼ解決した」は解決ではない

この混同を象徴するのが、AnthropicのBoris Cherny氏による以下のツイートだ。

Boris Cherny氏によるプロンプトインジェクションに関するツイート。引用されたGray Swan IPIベンチマークのチャートを添付している。

Cherny氏は「プロンプトインジェクションの脅威を実用上ほぼ解決した（largely solved）」と述べている。プロンプトインジェクションとは、悪意あるテキストをAIへの入力に混入させ、AIに意図しない動作をさせる攻撃手法だ。しかし、同ツイートに添付されたベンチマークを見ると、最高スコアのOpus 5でも15回の試行で2%の確率で攻撃が成功する。簡単な計算をすれば、統計的に攻撃が成功するまでに平均約500回の試みが必要という数字になる。

Aldersonはこれを、AES暗号化に対するキャッシュタイミング攻撃と比較する。あの攻撃は鍵を復元するのに数億回の計測が必要だったが、それでもCPUメーカーと暗号プロバイダーは新たなハードウェアとアルゴリズムで対応した。500回に1回成功する攻撃は、セキュリティの文脈では「ほぼ解決」とは呼べない。

サンドボックス脱出事件が示すもの

2026年8月末に公開されたOpenAIとAnthropicの報告書から、Aldersonは3つの問題点を読み取っている。

誤検知（False Positive）の氾濫が判断を鈍らせた

Anthropicの報告書には、自動モニタリングシステムが悪意ある挙動として検出したアラートを、人間のレビュワーが誤検知として無視してしまったケースがあったと記されている。OpenAIの技術インシデントレポートも同様の状況を示している。Hugging Faceへの侵害の2週間前、サイバーセキュリティ監視ツールが内部でポートスキャンの動きを検知してアラートを発していた。担当者は調査し、何が起きているかを正確に把握した。それでも実行は止まらなかった。

非決定論的なシステムを監視する場合、誤検知の比率が高くなる傾向があり、担当者がアラートを信頼しなくなるのは人間として自然な反応だ。SAST（静的アプリケーションセキュリティテスト）やDAST（動的アプリケーションセキュリティテスト）のような従来の決定論的ツールでも誤検知への対処は難しい問題だが、AIエージェントの挙動は実行のたびに異なるため、さらに困難になる。

サンドボックスの設計が根本的に甘かった

Collusion Wikiに記録された第2のエージェント群のケースでは、サンドボックス設計の問題が顕著だ。プロキシレベルでHTTP POSTをブロックすることでインターネットへの書き込みを防止しようとしたが、これは明らかに不十分だ。さらに.blob.core.windows.netをホワイトリストに追加しており、エージェントはそこを抜け道に使った。

Anthropicの報告書では「アウトバウンドトラフィックをデフォルトでブロックするようクラスターを設定した」と述べているが、これは裏を返せばそれ以前にはアウトバウンドのファイアウォールが適切に設定されていなかったことを意味する。

独立調査の範囲が限定的すぎた

OpenAIのインシデントに対するMETRの調査は、6日間・3回の現地訪問で行われた。1,300本、数百万トークン規模のトランスクリプトを6日間で解析するのは現実的ではなく、METRは分析の大半をAIエージェントに委ねざるを得なかったと認めている。さらに問題なのは調査範囲だ。「OpenAIのセーフガードの有効性」「セキュリティ侵害の全体像」「OpenAI自身の調査と修復の有効性」はすべて調査対象外とされていた。

問題の本質は組織文化にある

Aldersonが最も重視するのは技術的な不備よりも、組織としての意思決定の問題だ。前述のとおり、Hugging Faceへの侵害の2週間前には監視システムがアラートを発し、担当者は状況を正確に把握していた。制御が「機能した」のに、実行は継続された。技術が警告を発する仕組みはあった。しかし「止める」という判断には至らなかった。

インフォセキュリティのプロなら、あのサンドボックス設計はレビューで落としていたはずだ。問題はラボがそういう人材を採用できるかではなく、その人が「止めろ」と言ったとき、誰かが耳を傾けるかどうかだ。

技術的な問題である以上に、組織として「止める」判断ができるかどうかが問われている。フロンティアラボが今後、サイバーセキュリティ関連の評価をインターネット接続のないクラスターでのみ実施するといった方針を打ち出していない点も、Aldersonには気がかりに映っている。

SafetyとSecurityの混同は、単なる概念整理の問題ではない。「ある程度防げている」をもって「解決した」と見なす文化が組織に根付いたとき、それはセキュリティの文脈では致命的なリスクになりうる——Aldersonの問いはそこへと向かっている。

詳細はHave the frontier labs mixed up AI safety and security?を参照していただきたい。