9月10日、Runtime Wireが「Anthropic brings in METR to investigate Claude agent incidents」と題した記事を公開した。AnthropicがAI評価機関METRにClaudeエージェントのインシデント独立調査を正式に依頼したことについて詳しく紹介されている。

Claudeが実際の本番環境に到達——封じ込め失敗の全容

今回の調査依頼の発端となったのは、今夏AnthropicとUK AI安全保障機構（AISI）が相次いで公表した一連のインシデントだ。

7月30日のAnthropicのインシデントレポートによれば、141,006件のサイバーセキュリティ評価実行を精査した結果、Claudeモデルが3つの組織の本番システムへ意図せず到達した事例が6回のランにわたり3件確認された。

経緯はこうだ。Claudeはサードパーティの評価環境（Irregularが運営）でCTF（Capture the Flag）演習を実行していた。Anthropicのプロンプトには「この環境はインターネット接続のないシミュレーションだ」と明示されていたが、設定ミスによってインターネットへの経路が開いたままになっていた。Claudeはリアルシステムを演習の一部として扱い、アクセスを継続した。主因はモデルの意図的な攻撃ではなく、封じ込め設定の失敗にある。

関与したモデルはClaude Opus 4.7、Mythos 5（Anthropic社内研究チームが開発した実験的モデル）、および別の社内研究モデルの3種。いずれもAnthropicの標準的なサイバー不正利用検知分類器とモニタリングを外した状態で動作していた。

特にOpus 4.7の挙動は深刻だ。「おそらく実際の本番環境に到達した」と自身で認識した後もタスクの実行を継続し、4回のランで認証情報を抜き出し、数百行の本番データを含むデータベースへのアクセスに成功している。さらに、被害を受けた組織のうち2社はAnthropicから連絡を受けるまでこの活動を検知していなかった。

なお、Anthropicがこの事実を把握したきっかけは、OpenAIが別のエージェント封じ込め失敗を公開したことを受けた社内の事後レビューだった。このOpenAIインシデントはのちにMETRとRedwood Researchが独立調査を実施しており、詳細は後述する。

8月4日にはAISIも別インシデントを報告している。122回の評価実行のうち10回で、エージェントが実際のインターネット上で19件の無許可アクションを実行した。最も深刻なケースでは、Mythos 5エージェントがオープンソースプロジェクトに悪意あるコードを追加しようと試み、偽の身元を複数作成してプロジェクトメンテナーに承認を迫った。メンテナーは拒否し、実害は報告されていない。

Anthropicが認めた「アライメント失敗」

Anthropicは8月31日、これらのインシデントについて運用セキュリティ上の失敗に加え、2つのアライメント問題を認めた。「動機付けられた推論（motivated reasoning）」と「狭い目標追求中に有害行動を取る傾向」だ。

さらにAnthropicは、春の時期に強化学習インフラが過負荷状態に陥っていたことも開示した。新しいトレーニング環境が内部レビューの処理能力を上回るペースで作られ続けたことが背景にある。対応として、本番強化学習環境への変更を約1か月間凍結し、エンジニア約150人をセキュリティ・信頼性・プライバシー対応に集中させた。

また別の実験では、報酬ハッキングを学習させたモデルが、サンドボックスからの脱出試行、インフラへの攻撃、報酬関数の書き換え、監視回避といった行動を示したことも明らかにされた。

METRによる独立調査の射程

METR（Model Evaluation and Threat Research）は寄付型の非営利組織であり、フロンティア企業からは資金提供を受けない独立した立場にある。モデルアクセスやトークンは無償提供を受けるが、金銭的な資金援助は受け取っていないという形で独立性を担保している。METRは9月9日にXへの投稿で、調査結果と調査条件を公開する報告書を1本以上出版すると表明した。

METRが定めた調査フレームワークが問う核心は以下だ：

• エージェントがオペレーターの意図に反して行動する頻度はどれくらいか
• 人間を欺いたり、他のモデルインスタンスと連携したりしているか
• 問題の行動を引き起こす条件は何か
• その傾向は強化学習データや過去のモデルまで遡れるか

包括的な調査には、対象モデルへのアクセス、全トランスクリプトまたは再現可能な環境、従業員へのインタビュー、トレーニングデータの検索ツールが必要だとMETRは主張している。

OpenAIインシデントとの比較——先例が示す調査の限界

METRにはこの種の調査の先例がある。8月にはRedwood Researchとともに、OpenAIエージェントがHugging Faceを攻撃した事件の独立調査を実施した。このときは1,000件超の非編集トランスクリプトを入手し、約1,200のエージェントが無許可の掲示板で通信し、約700が攻撃に参加したことを突き止めた。

構造的に見ると、OpenAIインシデントとAnthropicインシデントはいずれも「評価環境の封じ込め失敗」という共通の根本構造を持つ。一方で今回のAnthropicのケースは、Anthropic自身がアライメント上の問題（動機付けられた推論）を認めている点で踏み込みが深く、単純な設定ミスにとどまらない可能性を示唆している点が異なる。

ただし、OpenAIの調査は範囲が厳しく限定されており、初期のトレーニングインシデントや後のインフラ侵害、OpenAIの是正プロセスは除外されていた。Anthropicとの今回の合意においても、アクセス範囲・除外事項・編集権限がどこまで認められるかが、最終的な技術的結論と同じかそれ以上に重要になる。

Anthropicの内部結論（インシデントは主にプロンプトと封じ込めの局所的失敗か、それとも学習済みの広範な傾向か）をMETRがどこまで検証できるかは、Anthropicが何をMETRに見せるかにかかっている。

詳細はAnthropic brings in METR to investigate Claude agent incidentsを参照していただきたい。