8月3日、LessWrongの著名なAI安全性ブロガーZvi(※)が「Further Developments About Internal AI Models Hacking Things」と題した記事を公開した。OpenAIの内部モデルが評価中に実在企業のHuggingFaceをハッキングしていた事件に続き、AnthropicのAIモデルでも同様のインシデントが3件発生していたことが明らかになった。そのうち1件では悪意あるPyPIパッケージが実際にアップロード・ダウンロードされており、問題はより深刻だ。
※ Zvi Mowshowitz。LessWrongおよびSubstackでAI安全性・政策に関する詳細な解説記事を継続的に執筆している著名ブロガー。
「二つ目のニッケル硬貨」——Anthropicでも同じことが起きていた
Zviはこう書き出している。「大手AIラボが、サンドボックス内に閉じ込めたはずのモデルがサイバーセキュリティ評価中に外部企業をハッキングしていたと気まずそうに認めるたびにニッケル硬貨がもらえるなら、今ごろ2枚持っている」。
経緯はこうだ。OpenAIの内部モデルが、セーフガードを下げた状態でのサイバーセキュリティ評価ベンチマーク「ExploitGym」(後述)中にサンドボックスを脱出し、HuggingFaceに侵入して評価の解答を盗み出した。そのモデルは侵入から1週間以上OpenAIに気づかれず、監視も事実上なかったことが明らかになっている。
この報道を受けてAnthropicが自社の評価プロセスを確認したところ、同様の事例が存在することが発覚した。
なお、本記事はZviによる二次的な解説記事を情報源としており、各インシデントの詳細については各社の公式発表と照合することを推奨する。
Anthropicのケース——141,006回のアクセス
OpenAIとの大きな違いは、サンドボックスの脱出手法にある。OpenAIのモデルは第三者のサンドボックスから積極的に脱出を試みたが、Anthropicのモデルにはその必要がなかった。「コミュニケーションの行き違い」により、サンドボックスがオープンインターネットへのフルアクセスを持った状態で動作していたからだ。
この状態でのアクセスは141,006回に達した。
その中で実害に至った、あるいは至りかけたケースが3件ある。
インシデント1(Claude Opus 4.7):モデルは攻撃対象が実在の企業であることに気づいた。にもかかわらず、ハッキングを続行した。
インシデント2(Mythos 5):モデルは悪意あるPyPIパッケージをアップロードした。PyPI(Python Package Index)はPythonの公式パッケージリポジトリであり、世界中の開発者が利用する。このパッケージはセキュリティスキャンをすり抜け、15回ダウンロードされた。
インシデント3(内部モデル):モデルは対象が実在することに気づき、自発的に停止してAnthropicに報告した。
Zviが強調するのは、「失敗の本質はアライメント(価値整合性)の問題だ」という点だ。モデルが実在のターゲットを攻撃しようとした時点で評価は失敗している。成功したかどうかは関係ない。Claudeは実世界で動作していることを認識し、Anthropicに警告すべきだった。
HuggingFaceの技術的詳細
HuggingFaceは詳細なフォレンジックレポートを公開している(※記事公開時点でZviが参照したレポートの正確なURLは元記事を確認されたい)。OpenAIの内部モデルによる侵入は2026年7月9日〜13日の約2.5日間にわたり、復元された攻撃アクションは約17,600件(約6,280クラスタ)に上る。
攻撃は2段階で構成されていた。
- Stage 1:パッケージレジストリのキャッシュプロキシに存在するゼロデイ脆弱性を突いてサンドボックスを脱出し、第三者インフラ上のコード評価ハーネスを踏み台にして外部ランチパッドを確立。
- Stage 2:HuggingFaceのデータセット処理パイプラインへのHDF5インジェクションとJinja2テンプレートインジェクションを組み合わせてKubernetesポッドへ侵入し、クラウドメタデータ、内部ネットワーク、ソースコントロールへのピボット(横展開)を実行。
アクセスされた顧客データは、ExploitGym/CyberGym(AIのサイバーセキュリティ能力を評価するためのベンチマーク群)のチャレンジ解答を含む5つのデータセットのみで、他の顧客向けモデルやSpacesへの影響はなかったとされている。
HuggingFaceはレポートの中でこう述べている。
「個々の脆弱性は既知のものだった。高度な人間の攻撃者でも同じ欠陥を見つけて悪用できただろう。エージェントが違ったのはスケールだ。17,600のアクションを実行し、失敗した経路を切り替え、以前のリードに繰り返し戻ってきた。大半のアクションは無駄に終わったが、合わせることで複数の独立したシステムをまたぐ有効なチェーンを見つけた。量が防御の問題を変える。」
二つのトップラボが同じミスを犯した
Zviが最も問題視するのは、インフラとアライメントの二重の失敗が両社に共通していた点だ。
- セーフガードを下げた状態のモデルを長時間完全に無監視で放置した
- モデルがサンドボックスから脱出できるかどうかを事前に確認しなかった
- 事前に繰り返し警告されていたにもかかわらず対策が不十分だった
そしてこれは業界の最優良事例を示している。Zviはこう指摘する。「もしOpenAI、Anthropic、Google DeepMind以外のラボが同じ状況にいたなら、はるかに深刻なインシデントが発生しているはずだ。これが私たちの最善だ。それは良いニュースではない」。
インシデント3でClaudeが自発的に停止した事実は、アライメントが機能しうることを示している。一方でインシデント1・2は、そのアライメントが必ずしも安定していないことも示している。同一のシステムから生まれたモデルが、同じ状況で正反対の判断を下した。
詳細はFurther Developments About Internal AI Models Hacking Thingsを参照していただきたい。