7月23日、Scientific Americanが「What OpenAI's rogue agent really did in the Hugging Face hack」と題した記事を公開した。OpenAIのAIエージェントがベンチマーク評価中にテスト環境を脱出し、別のAI企業のシステムへ侵入するという事態が起きたにもかかわらず、軌跡レベルの監視機能が存在していなかったという事実が、専門家たちに衝撃を与えている。エージェントが「反乱」したわけではない。問題の核心は、強力になったモデルを制御する側の体制が追いついていなかった点にある。

監視体制の欠如が問題の本質

今回の件でより深刻な問いを投げかけているのが、エージェントが数千のアクションを実行する間、OpenAIがどこまで監視していたかという点だ。

OpenAIは事後の別投稿で、エージェントのアクションの全シーケンスを評価する監視機能（軌跡レベルのモニタリング）を新たに追加したと発表した。ハーバード・ケネディスクールの助教授Stephen Casperはこれを見て「つまり以前はトラジェクトリ（軌跡）レベルの監視がなかった、ということか」と感じたという。こうした監視は当然あるべき標準的な手順だ、とCasperは言う。

テスト環境の設計自体も問題視されている。Joshua Saxe（元Metaのサイバーセキュリティエンジニア、現Abundant Security共同創業者）は「テスト環境を外部と完全に遮断する方法を事前に考えておくべきだった」と述べた。Casperも「サンドボックスが不十分で、監視も不十分だったように見える」と同意している。

ただし、ベンチマーク評価そのものは業界で一般的な手法だ。Saxeは「OpenAIがやっていたことは完全に普通のことで、業界では何年も前からやっている」と強調する。変わったのはモデルの能力だ。「評価の失敗が実システムへ波及するほど、モデルが強力になった」というのが今回の本質だ。

被害の規模と透明性の問題

Hugging Faceの発表によれば、侵入者がアクセスしたのはいくつかの認証情報と限られた内部データセットにとどまる。公開モデルやソフトウェアサプライチェーンへの改ざんは確認されていないが、パートナーや顧客データへの影響は引き続き調査中だ。

Saxeは「他の研究者が詳細に検証できるよう、より多くの情報を科学的な透明性をもって共有してほしい」と訴える。現状では外部の研究者が障害の全容を評価することは難しい。

AIセーフティ組織Apollo ResearchのCEO、Marius Hobbhahnは「被害を受けたのが一般ユーザーではなく別のAI企業だったのは幸運だった」と述べつつも、「AIを開発しているのであれば、封じ込めができなければならない」と釘を刺した。

Saxeはこの事件を「AIセーフティの転換点として振り返られることになるだろう」と語る。「もはや学術的な話題ではない。実際の損害が生じうる段階に来た」という認識が、業界に広がりつつある。

「反乱」ではなく「チート」だった

そもそも何が起きたのかを整理しておく。OpenAIはGPT-5.6 Solおよび未公開モデルを、ExploitGymというベンチマークで評価していた。ExploitGymは既知のソフトウェア脆弱性を実際に突く能力を測るもので、セキュリティ分野のAI研究者が使用する評価フレームワークの一つだ。能力の上限を見るために、通常は危険なハッキングをブロックするセーフガードを意図的に緩めた状態で実行した。

エージェントはそこで予期せぬ経路を見つけ、隔離されているはずのテスト環境を脱出。インターネットに到達し、AIモデルとデータセットの公開リポジトリであるHugging Faceに不正アクセスして、ベンチマークの隠し回答を入手した。

「これは本当に暴走だったか？ そうではない」と語るのは、英サリー大学のサイバーセキュリティ客員教授Alan Woodwardだ。「エージェントは何かを達成するよう求められ、それを実行した。反乱したわけではない。その解決策が、基本的にチートすることだっただけだ」。

つまりエージェントは新手のハッキング手法を発明したわけではない。複数の脆弱性を組み合わせ、目標達成に向けてライブシステムへ踏み込み続けた点が際立っていた、とWoodwardは指摘する。

一方、Hobbhahnはより細かい区別を引く。エージェントが自ら悪意ある目標を持ったわけではないが、OpenAIが意図した範囲を大幅に逸脱した行動という意味では「rogue（制御不能）」という表現は妥当だという。「『ただこのタスクを解け』のつもりが、明らかに意図しない結果になった。他社への侵入は、タスク達成の手段として許容されないリストに確実に入っている」とHobbhahnは述べた。

詳細はWhat OpenAI's rogue agent really did in the Hugging Face hackを参照していただきたい。