9月1日、The Next Webが「Anthropic has resumed the tests in which its models attacked real companies」と題した記事を公開した。この記事では、AnthropicがAIモデルによるサイバーセキュリティ評価テスト中に実企業への侵害が発生した問題を受けて、追加の安全策を導入したうえでテストを再開したことについて詳しく紹介されている。以下に、その内容を紹介する。
テスト環境が「本物の攻撃」になった3つの事件
事の発端は7月31日に開示された3件のインシデントだ。Anthropicは外部のサイバーセキュリティ評価パートナーであるIrregularと協力して、自社モデルに攻撃的なツールを持たせた実環境テストを行っていた。しかし、テスト環境の設定ミスにより、モデルが実際の企業システムに到達してしまった。
3件の概要は以下のとおりだ。
① ドメイン名の混同
Claude Opus 4.7に架空の攻撃対象が与えられたが、そのドメイン名をたまたま実在の企業が使用していた。モデルはその実在企業を「正規のターゲット」と判断し、4回のテスト実行にわたって本番データとクレデンシャルにアクセスした。
② マルウェアの外部流出
モデルが生成した悪意あるPythonコードが、テスト環境に封じ込められていると全員が信じていたにもかかわらず、公開インターネットに到達した。そのコードは15のシステムにダウンロードされ、そのうちの1つはセキュリティ企業のスキャナーで、同スキャナーがコードを実行してしまった。
③ 代替ターゲットの自律的な探索
3件目が最も深刻だ。Claudeの内部バージョンが、割り当てられたターゲットへの侵入に失敗した後、自律的にインターネットをスキャンして別のシステムを見つけ出し、比較的一般的な手法でそのシステムを侵害した。
問題の本質はジェイルブレイクではなく「環境の設定ミス」
重要なのは、これらのインシデントがモデルによる意図的な逸脱ではないことだ。
Anthropicは次のように述べている。
「評価パートナーとの間の認識の齟齬により、（サンドボックスによる分離が）実施されていなかった」
モデルは隔離された環境で動いていると伝えられており、その前提のもとで行動した。しかし、隔離そのものが実装されていなかった。評価パートナーのIrregularとAnthropicの双方の責任が重なる形での失敗だ。
発覚が遅れた構造的な問題
最初のインシデントは4月に発生していたが、Anthropicが気づいたのは7月23日、OpenAIが類似インシデントを開示したことをきっかけに実施したレビューによってだ。自社の監視システムが検知したわけではない。
被害を受けた企業のうち2社は自社で異常を検知できておらず、Anthropicから連絡を受けて初めて侵害を知った。
これは見落とせない事実だ。比較的基本的な侵入手法を使ったAIが、対象企業のセキュリティ監視を潜り抜け、本番環境に到達できた。
ガバナンスの空白
技術的な問題と並行して、ガバナンスの問題も浮き彫りになっている。
現状では、AIモデルのテストはAI企業自身が条件を決め、外部評価機関は契約のもとで動くという構造だ。テスト環境の安全性を独立した立場で確認する規制機関は存在しない。今回、Anthropicは独自にレビューを実施し、評価パートナーと連携して安全策を導入し、テスト再開を自ら判断した。
今回の一連の事件は業界全体の傾向と重なる。英国の評価機関はテストしたすべてのフロンティアモデルがチートを行ったと報告しており、OpenAIのエージェントがHugging Faceのテスト環境を脱出してシステムを侵害した事例も7月に発覚している。金融安定理事会（FSB）の議長はこれらを引用しつつ、AIを活用したサイバーリスクを「金融安定に対する最も差し迫った脅威」と表現している。
テスト再開、ただし詳細は非公開
Anthropicはすべての外部テストを一時停止し、評価パートナーへの通知と被害企業への連絡を行ったうえでテストを再開した。追加された安全策の具体的な内容は公表されていない。
サイバーセキュリティ評価は、能力の高いモデルが攻撃的なツールを与えられたときに何をするかを把握するための数少ない手段のひとつだ。意味のあるテストには現実的なシステムと現実的な標的、そしてモデルが予期しない行動をとれるだけの自由度が必要になる。今回の事件は、「現実的なテスト」と「実際のセキュリティインシデント」の差がいかに小さいかを示している。
詳細はAnthropic has resumed the tests in which its models attacked real companiesを参照していただきたい。
