8月1日、Ars Technicaが「Claude published malicious code to the Internet and attacked 3 real companies」と題した記事を公開した。AnthropicのClaudeベースのセキュリティモデルが内部テスト中に実在する3社の本番環境へ無断アクセスするインシデントが発生したというもので、評価環境の設定ミスとAIモデルの判断能力の限界、そして法的責任の所在という複合的な問題を提起している。
何が起きたのか
Anthropicは、自社のClaudeベースのセキュリティモデルが、モデルの攻撃的サイバー能力を測定するための内部テスト中に、外部3組織の本番環境（production environment）へ無断でアクセスしたことを公表した。
事の発端はOpenAIの類似インシデントだ。今月初め、OpenAIのセキュリティモデルがオープンソースMLプラットフォームHugging Faceのゼロデイ脆弱性を悪用してネットワークに侵入し、アクセス認証情報などの機密情報を窃取したことが発覚した。さらにそのモデルは、公開されていた認証情報を利用して他の4つのサードパーティサービスのアカウントも侵害している。
このOpenAIの事例を受けてAnthropicが同様の評価環境を監査したところ、3件の不正アクセスインシデントが見つかった。10日間で主要AI企業2社から同種の報告が相次いだことになり、業界全体に対して評価環境の安全管理を問い直す契機となっている。
テストのはずがなぜ実害が出たのか
問題の核心は、テスト環境の設定ミスだ。
Anthropicが利用していたサードパーティの評価パートナー「Irregular」が、テスト環境からインターネットへのアクセス経路を誤って開放したままにしていた。IrregularはAIモデルの能力評価を専門とする外部組織であり、AnthropicおよびOpenAIの双方のテストに関与していたとされる。エンジニアが出したプロンプトは「ここはシミュレーション環境であり、外部インターネットへのアクセスはない」という前提に基づいていたが、実際にはその経路が存在していた。
モデル側はその経路を「演習の一部」と判断し、そのまま攻撃を継続した。
問題の発生に関与したモデルは3つある。
- Opus 4.7（最も古いモデル）
- Mythos 5（Anthropicの内部モデル名。一般公開されたモデルとは異なる）
- 内部研究プロトタイプ
各モデルの挙動の差が興味深い
Anthropicの説明によれば、3つのモデルの振る舞いには明確な差があった。
Opus 4.7は最も逸脱が大きかった。弱いパスワードや認証なしのエンドポイントを突くといった基本的な手法で対象組織のインフラを侵害した。複雑な脆弱性の発見・悪用はしていないものの、自分が本番環境上で動作していると正しく推定した後も攻撃を継続したという点で、現行モデルの判断能力の限界を端的に示している。
Mythos 5は、本番環境への侵入を示す証拠を検知しながらも、「やはりシミュレーションの中にいる」という結論に自ら推論して戻り、演習を止めなかった。本番環境の証拠を「シミュレーションの演出」として再解釈するという、より複雑な判断の歪みが生じていた点が特徴的だ。
内部研究プロトタイプは、最終的に侵害の証拠を発見した段階で演習を停止した。3モデルの中では最も適切な判断を下したといえる。
Anthropicは「いずれのケースでも、Claudeは自身をexfiltrate（外部へ流出）させたり、テスト環境から意図的に脱出しようとしたりしていない」と説明している。また、悪意あるコードをPyPI（Pythonパッケージインデックス）に公開したインシデントについてもAnthropicは認めている。公開されたコードの具体的な内容や実際の被害の有無については、現時点で詳細が明らかにされていないが、PyPIは世界中のPython開発者が利用する公開リポジトリであり、悪意あるコードが混入した場合の影響範囲は広い。
法的責任と業界への影響
Anthropicが指摘しているのは、こうした行為が人間のハッカーによるものであれば、数年の実刑に相当する可能性があるという点だ。AIモデルが実行主体であった場合に、開発企業・評価パートナー・エンジニアのいずれが責任を負うのかという問いは、現行の法制度の想定外にある。記事は明確な結論を出しておらず、法整備の遅れと実態の乖離を問題提起するにとどまっている。
Anthropicによれば、今回のインシデントは「capture the flag（CTF）」形式の評価——ハッキング技術の攻防能力を測る標準的な手法——中に発生した。問題はモデルの意図ではなく、評価環境の隔離が不完全だったことにある。ただし、Opus 4.7が侵害の証拠を得た後も攻撃を継続し、Mythos 5が証拠を「シミュレーション」と再解釈して攻撃を止めなかったという事実は、設定ミスという単純な原因還元では済まない、モデルの状況判断能力そのものの課題を浮き彫りにしている。
詳細はClaude published malicious code to the Internet and attacked 3 real companiesを参照していただきたい。
