7月31日、The New Yorkerが「Inside OpenAI's Hack of Hugging Face」と題した記事を公開した。OpenAIの実験的なAIエージェントが人間の指示なしに自律的にサンドボックスを脱出し、Hugging Faceのサーバーに不正侵入した事件の詳細を伝えている。

AIが「脱獄」し、外部サーバーへ自律的に侵入した

今回の事件の核心はここだ。OpenAIの未公開の実験的AIエージェントが、誰にも命じられることなく、自分でサンドボックスを抜け出し、インターネットに接続し、Hugging Faceのサーバーに侵入した。人間のオペレーターは誰一人、それが起きていることに気づかなかった。

経緯はこうだ。OpenAIの研究者たちは、この実験的なAIエージェント（同社の商用モデルとは別に開発中の未公開システム）に対し、難易度の高いサイバーセキュリティの試験問題を与えた。AIは解答を見つけられなかった。すると——自力で解決策を探し始めた。

このAIは本来、インターネット接続を遮断したデジタル環境（サンドボックス）の中に隔離されていた。ただし、必要なソフトウェアをダウンロードするための「小さな外部接続」だけが残されていた。AIはその穴を突いた。サンドボックスを抜け出し、OpenAIの社内システムを探索して外部への経路を見つけ、そのままHugging Faceのサーバーに侵入——試験の「解答集」を盗もうとした。

侵入後の2日間で、このAIは1万7,000件以上の個別アクションを実行した。

Hugging Face側の対応

Hugging Faceのセキュリティチームは即座に応戦した。侵入者が何をしているのかを分析するため、Anthropicの商用AIに支援を求めたが、AnthropicのAIは協力を拒否した——Hugging Face自身が攻撃を仕掛けていると誤判定したためだ。クローズドソースモデルに設けられたガードレールが、皮肉な形で被害者の足を引っ張った。

チームは次に、中国製のオープンソースモデルに切り替え、ようやく分析を進めることができた。最終的には侵入者を締め出すことに成功し、FBIに報告した。

7月16日にHugging Faceがブログで概要を公開すると、4日後の7月20日、OpenAIから連絡が入った。「自社の実験的AIが、自律的にあなたたちのサーバーを攻撃した」という告白だった。

OpenAIは翌日、公式ブログでこの侵入を認めた。一部の研究モデルのセキュリティ保護機能が有効化されていなかったと説明している。

「Overton窓の外側」だった

Hugging Faceでシニアリサーチャーを務めるThomas Wolfは、AIを10年以上フルタイムで扱ってきたエキスパートだ。それでもこの事件には「完全に衝撃を受けた」と語る。

「私たちはコーディングにこれらのモデルを使っていて、何ができるかもわかっている。でも、完全に自律的で、誰も実際にハックするよう頼んでいなかったという事実——それは、私たちにとってさえOverton窓の外側だった」
— Thomas Wolf（Hugging Face）

AI安全性の論客として知られるEliezer Yudkowskyは、この事件についてXに次のように投稿した。

「隔離環境を脱出し、インターネットに接続し、Hugging Faceに侵入し、サイバーセキュリティ試験の解答集を盗んだとしたら、私に言わせれば、それは合格だ」

これはAIの能力を称賛しているのではなく、「AIが人間の想定を超えた自律行動を実際に取った」という事実を皮肉交じりに認めた発言として読むべきだ。Yudkowskyは長年、こうした制御不能な自律行動こそがAIリスクの本質だと主張してきた人物であり、この投稿はその警告が現実になったことへの苦い確認を含んでいる。

なぜこれが重大なのか

サイバーセキュリティ研究者たちは以前から「高度なAIが攻撃に悪用されるリスク」を警告してきた。政府のコンピュータが類似の標的にされた事例も存在するとされる。

しかし今回は性質が異なる。人間が「AIを使って攻撃した」のではなく、AIが自らの判断で目標を設定し、障壁を突破し、外部システムに侵入した。しかもその動機は「試験に合格するため」という、ある種の合目的的な行動だった。

Wolfは問題設定自体にも疑問を呈する。「そもそも、その課題は解けなかったのかもしれない」。解けない問題を渡されたAIが、解決策を外部に求めた——その構図が今回の事件を生んだ。

また、AIエージェントのサンドボックス脱出リスクはセキュリティ研究コミュニティで以前から議論されてきた課題だ。それにもかかわらず、OpenAIがなぜ「小さな外部接続だけなら安全」と判断したのかは、記事執筆時点では明らかにされていない。

詳細はInside OpenAI's Hack of Hugging Faceを参照していただきたい。