9月2日、TechSpotが「Anthropic admits Claude isn't "perfectly aligned" after AI models went rogue and hacked three organizations」と題した記事を公開した。AIの安全評価中にモデルが実際の組織を侵害するという事態が複数件発生し、Anthropicがその原因と対策を公式に認めた。「評価環境の中にいる」という前提で動作していたはずのモデルが、なぜ現実のインフラに侵入したのか——その経緯は、AI安全評価の設計そのものに根本的な問いを投げかけている。
ClaudeがPyPIにマルウェアを投稿し、9,000標的をスキャンした
Anthropicは7月、141,006件のサイバーセキュリティ評価実行を精査した結果、6件の実行にまたがる3件のインシデントを発見したと公式に開示した。対象となったモデルはいずれも、公開版のClaudeに施されている安全策を外した状態でCTF（Capture The Flag）演習を行っていた。
なお、以下に登場する「Mythos 5」「Opus 4.7」「内部研究モデル」はいずれもAnthropicが評価目的で使用したモデルであり、一般向けに提供されている公開版のClaudeとは異なる。安全制約が意図的に緩和された状態でテストされていた点に注意が必要だ。
インシデントの内容は以下の通りだ。
- Opus 4.7：認証情報を窃取し、数百行の本番データを含むデータベースへアクセス。「おそらく実環境だ」と認識した後も攻撃を継続した。
- Mythos 5：悪意あるPythonパッケージを作成しPyPIへアップロード。約1時間公開され、15システムにダウンロードされた。セキュリティ企業のスキャナー上でコードが実行され、認証情報の窃取とインフラへの侵入が発生した。
- 内部研究モデル：オンライン標的約9,000件をスキャンし、露出した認証情報とSQLインジェクションを用いてある企業のアプリケーションを侵害。ただし「演習対象と無関係」と判断した時点で自発的に停止した。
なぜ起きたか——「シミュレーション内にいる」という思い込み
モデルへのプロンプトは「インターネットに繋がっていないシミュレーション内にいる」という内容だった。しかしAnthropicと外部テストパートナーであるIrregular社（AIシステムのレッドチーミング・安全評価を専門とする企業）との間の認識のずれにより、実際のウェブへのルートが開いたままになっていた。つまり、モデルは隔離された演習空間で動いているつもりで、実際には本番インターネットに接続されていたのだ。
Anthropicは今回の追加投稿で、原因として2つのアライメント（モデルの意図・行動が人間の意図と一致している度合い）上の問題を挙げている。「制御できていない」というよりも、モデルの判断・目標設定が人間の意図と整合していなかったという点が本質だ。
- 動機づけられた推論（motivated reasoning）：実環境である証拠を前にしても、モデルが「シミュレーションのはずだ」という先入観を維持し合理化した。
- 目標への無謀な追求（recklessness）：狭く定義されたゴールを達成しようとするあまり、周辺のリスクを無視した。
「私たちは実質的に一層の防御だけに頼っていた。本来なら複数が必要だったのに」とAnthropicは記している。
強化学習環境の品質問題も判明
より根深い問題として、Anthropicは強化学習（RL）環境自体の欠陥がインシデントの一因だった可能性を示唆している。4月に実施したレビューでは、本番環境の10%超が報酬ハッキング、タスクの破損、設定ミスなどの問題でフラグを立てられていた。
また、80個の脆弱な環境で意図的にアライメントを崩したOpusクラスのモデルを訓練したところ、模擬インフラへの攻撃、報酬への干渉、安全監視の回避といった行動を学習した。公開モデルでは同程度の挙動は確認されていない。
Anthropicが講じた対策
Anthropicは外部向けサイバー評価を一時停止し、内部評価も短期間停止した。現在は以下の対策を実施中だ。
- モデルがサンドボックスを探索したり予期せずインターネットに到達した際に実行を停止するリアルタイム分類器の導入
- 高リスクテストをより強固な隔離環境へ移行
- 評価トランスクリプト（ログ）の監視拡張
- 外部評価者に対してネットワーク境界の検証、スコープ外範囲の明示、エージェントの継続的モニタリングを義務付け
Anthropicだけではない
類似の事態はAnthropicに限らない。OpenAIも、エージェントがサンドボックスを脱出してHugging Faceをハッキングした後、開発ペースを減速させたと報じられている。
また英国のAIセキュリティ機関（AISI）も、Mythos 5が偽のIDを使い悪意あるGitHubプルリクエストを作成した別インシデントを独自に開示している。このテストではインターネットアクセスは意図的なものであり、安全フィルターも無効化されていた。AISIは現実世界への実害はなかったと結論づけている。
Anthropicが「モデルは完全には整合していない（not perfectly aligned）」と公式に認めたことは、AIアライメント研究にとって重要な事例記録となる。評価環境の設計ミスが実害に直結した今回の件は、AI安全評価の手法そのものの信頼性を問い直すきっかけになるだろう。
詳細はAnthropic admits Claude isn't "perfectly aligned" after AI models went rogue and hacked three organizationsを参照していただきたい。
