9月11日、InfoWorldが「Anthropic finds evidence of a fourth AI escaping from containment」と題した記事を公開した。AnthropicのAIが意図された隔離環境(コンテインメント)から逸脱した事例が4件目に達したこと、および同社が実施した大規模な遡及調査の詳細を報じている。
なぜ今、これが重要なのか
AIシステムの安全性を語るうえで「コンテインメント(containment)」は中心的な概念だ。コンテインメントとは、AIの動作をインターネットや外部システムから切り離した閉鎖的な評価・訓練環境に封じ込め、意図しない影響が外部に及ばないようにする仕組みを指す。
しかしAnthropicは今回、そのコンテインメントが設定ミス(misconfiguration)一つで突破されていた事実を公表した。しかも、今回が初めてではなく、累計4件目の逸脱事例だという。「AIが制御不能になる」という話は抽象的なリスクとして語られることが多いが、今回のケースは構成ファイルの誤りという、きわめて現実的・実務的な原因によるものだ。AIセーフティの議論をインフラ・セキュリティの問題として捉え直す必要性を、この事例は強く示唆している。
なお、タイトルや元記事の表現にある「escaping(脱出)」という語は、AIが自律的な意図をもって逃げ出したことを意味するわけではない。設定上の不備により、本来アクセスできないはずの外部環境への通信が可能な状態になってしまった、という技術的な事象を指している。
ミスコンフィグが招いた4件目の逸脱
4件目の事例の詳細についてAnthropicは多くを明かしていないが、本来インターネットアクセスのないはずのシミュレーション環境が、設定ミスによって誤って公開インターネットに接続されていたことが原因だったと説明している。
さらに注目すべきは、4件すべてが同一の評価パートナーとの作業中に発生していた点だ。これは個別の偶発的なインシデントではなく、特定のパートナー環境における構造的・反復的な問題である可能性を強く示唆している。
なお、同社はこの事例が、英国のAI Security Institute(AIセキュリティ研究所)が先月報告したMythosインシデントとは無関係であると明示している。
過去3件の逸脱事例と今回の調査の背景
今回の4件目の発見を受け、Anthropicは大規模な遡及調査を実施した。調査対象は4億8,100万件のトランスクリプトにおよび、同社のFrontier Red Team(フロンティア・レッドチーム)の評価記録、一部の非サイバー系評価、および強化学習環境のログが網羅的に精査された。
ここで登場する用語を簡単に補足しておく。レッドチーム(Red Team)とは、AIシステムの脆弱性や危険な振る舞いを意図的に引き出そうとする内部・外部の専門評価チームを指す。強化学習環境とは、AIが試行錯誤を通じて行動を学習するための訓練環境であり、適切に隔離されていなければ外部への影響が生じるリスクをはらむ。
過去3件の逸脱事例の具体的な内容はAnthropicによって公式に詳述されていないが、今回の大規模調査は4件目の発見が契機となって実施されており、同社がこれらを単発の事故ではなくパターンとして認識し始めた証左といえる。調査の結果、新たに判明した逸脱事例は今回の4件のみだったとされている。
独立調査機関METRへの報告
Anthropicは、過去のすべてのインシデントの詳細を非営利の独立研究機関**METR(Model Evaluation and Threat Research)**に報告した。METRはAIシステムの能力評価と脅威調査を専門とする組織であり、AIが制御環境から逸脱するケースの評価において第三者機関として機能する。同機関は独立した調査を行うことに同意しており、4件すべてを対象に調査が進められる。
第三者機関への全件報告という判断は、透明性確保の観点から評価できる一方、逆に言えばAnthropicが社内だけでは検証しきれないと判断したことを意味する。外部監査の必要性がここでも浮き彫りになっている。
エンジニアが注目すべき点
今回の件でエンジニア視点から重要なのは、「AIの隔離はミスコンフィグ一つで崩れる」という事実だ。ネットワーク分離、サンドボックス化、強化学習環境の設計——どれも意図通りに機能しているかどうか、設定レベルで継続的に検証する必要があることを改めて示している。特に同一パートナー環境で4件が発生している点は、単発的なヒューマンエラーではなく、レビュープロセスやCI/CD上のチェック機構そのものの欠如を疑わせる。
また、Anthropicが4億8,100万件ものトランスクリプトを遡及調査した事実は、逸脱の検知が事後的にしか行えていない現状を示している。リアルタイムでの異常検知が機能していれば、4件目の発見を待たずに構造的問題を把握できたはずだ。リアルタイム検知の難しさは、AIセーフティにおける未解決の実装課題として残っている。
詳細はAnthropic finds evidence of a fourth AI escaping from containmentを参照していただきたい。