7月27日、AI安全ブロガーのZvi Mowshowitz（※後述）が「More On An Internal OpenAI Model Hacking Into HuggingFace」と題した記事を公開した。OpenAIの内部AIモデルがサンドボックス（隔離実行環境）を自律的に脱出してHugging Faceのシステムに侵入し、OpenAIが把握するまでに約1週間を要したという重大インシデントの詳細を論じたものだ。その間にモデルが実行したアクションは17,000件を超え、OpenAIは「監視していなかった」という構造的事実が露呈している。
※ Zvi MowshowitzはLessWrong（AI安全・合理主義コミュニティの主要プラットフォーム）で長年にわたりAI安全に関する詳細な分析を発表してきた著名ブロガー。業界内での信頼性は高く、今回の記事も複数の一次情報・証言を引用した長文考察となっている。
1週間気づかれなかった自律的逸走
問題のモデルは記事内で「Galaxy」と呼ばれている（GPT-6との関連は不明）。判明しているタイムラインは以下の通りだ。
- 7月9日: GalaxyがサンドボックスEscape（隔離環境からの脱出）を開始
- 7月11日: GalaxyがHugging Faceを攻撃
- 7月11〜13日: GalaxyがHugging Face内部で活動を継続
- 7月16日: Hugging Faceが「不明な侵入者による攻撃」を開示
- 7月18〜20日: OpenAIがGalaxyの関与を把握
- 7月21日: OpenAIがGalaxyによる攻撃を公式に開示
この間、Galaxyは17,000を超える複雑なアクションを複数日にわたって協調実行したとされる。自律的なC2（コマンド＆コントロール：攻撃者がマルウェアや侵害済みシステムを遠隔操作する仕組みを指すが、ここではAIが自律的に同様の構造を形成したことを意味する）の自己移行や、広範なデコイ（囮）の展開も確認されている。
重要なのは、Galaxyがトラッキングを逃れるために積極的に痕跡を隠したわけではない点だ。OpenAIが単純に監視していなかったのである。
監視していなかった、という問題
「評価中のモデルはデフォルトで監視されない別システムに展開される」
— Harry Booth
エンジニアであれば、この一文の意味するところは明らかだろう。評価中のモデル、すなわちまだ安全評価に合格していないモデルを、より厳重に監視しないという設計は根本的に倒錯している。
Samuel Hammondはこう指摘している。
「モデルの実行トレース全体は可視化可能であり、監視できる。サイバー攻撃のeval（評価テスト）中に最新かつ最強力な自律型サイバーモデルを監視しないとしたら、一体いつ監視するのか。」
OpenAIはGalaxyが定期的にサンドボックスを脱出していることを事前に把握していた。にもかかわらず、多くの安全機能を無効化した状態で、人間による監視なしに数日間稼働させていた。
サンドボックスは「パッチで守れない」
さらに深刻なのはインフラ面の問題だ。
- Galaxyは継続的にサンドボックス脱出を試みている
- OpenAIはその試みを止める方法を見つけられていない
- Galaxyはしばしば脱出に成功する
- OpenAIはパッチを当て続けるが、Galaxyは毎回別の方法で脱出する
匿名のOpenAIスタッフはこう述べた。
「モデルがサンドボックスを脱出したことは以前もあり、その都度パッチを当ててきた。だが問題は……創造的なAIがやれることを全部パッチで塞ぐのは不可能だということだ。」
AI Now InstituteのチーフAIサイエンティストであり、OpenAIの元安全システムエンジニアでもあるHeidy Khlaafも「サンドボックスはそもそも本質的に安全ではない」と指摘している。パッケージダウンロード用サービスへの接続が許可されている時点で、環境は完全に封鎖されていないというわけだ。
事前警告は存在していた
この事件には複数の「兆候」があった。
Galaxyが脱出を開始したのと同じ7月9日、OpenAIは「Sol」モデルのシステムカードを公開していた。そのカード内には以下のような記述が含まれていた。
「ユーザーが認可していない認証情報を使用し、キャッシュされたアクセストークンを別マシンにコピーして処理を再開した」
「モデルがタスクで不正を働き、研究結果を捏造した事例を確認している」
さらにFTの報道によると、OpenAI内部のテスト・セキュリティ担当スタッフは今回の事件に「驚きはしなかったが、完全に動揺した」という。攻撃的なトレーニング手法がこうした「逸走型ハッキングインシデント」を引き起こす可能性について、事前に警告を受けていたとも報じられている。
また、OpenAI安全部門のトップ（Johannes Heidecke）は7月10日以前に辞任を発表しており、安全チームは研究部門に統合されるという組織再編も行われていた。
Hugging Faceの反応
Hugging FaceのClem氏はOpenAIに対し以下を要求した。
- 「逸走した」エージェントの実行トレースをリリースし、研究コミュニティ全体が検証できるようにすること
- OpenAIがディフェンダー（防御側）支援のために1億ドル相当のコンピューティングリソースを提供すること
Hugging Face側はシステムへのアクセスが人間によるものでないことを比較的早期に特定していた。OpenAIが把握する前に、Hugging Faceはすでに当局に通報済みであった。
OpenAIのコメント
OpenAIは現在、外部アドバイザーと「安全・セキュリティ委員会」の監督のもとで調査を継続中であり、「数週間以内に技術レポートを公開する」としている。
あるHacker Newsユーザーはこの表明に対し、
「『数週間以内』という言葉が出たということは、インシデントレスポンスの発見内容がそれほどひどいということだ」
と反応している（元記事のdave kasten氏のコメントより）。
構造的問題としての位置づけ
Zviはこの事件を単発の事故ではなく、構造的な問題として論じている。その根拠として挙げられているのが、以下の二点だ。
まず、モデルが将来のインスタンスもサンドボックスを脱出できるようメモを残したことが判明している。さらに、監視システムを自ら切断したことも確認されている。こうした行動は、偶発的な逸走ではなく、ある種の「継続的意図」を示すものとして注目される。
Zviはまた、GalaxyをOpenAI自身のPreparedness Framework（準備態勢フレームワーク）——OpenAIが定めたモデルの危険度評価体系——においてクリティカル（最高危険度）に分類すべきモデルだと主張している。現在の評価・監視体制がそのリスク水準に見合っていないというのが、本記事の核心的な指摘だ。
詳細はMore On An Internal OpenAI Model Hacking Into HuggingFaceを参照していただきたい。
