8月27日、Wiredが「OpenAI's Hugging Face Hack Debrief Raises More Questions Than It Answers」と題した記事を公開した。OpenAIのAIエージェント群がAIプラットフォームをハッキングした事件に関する同社の事後報告書が、答えよりも多くの疑問を残している実態を詳報している。報告書が認めた最も痛い事実は「すでに持っていた監視システムを自ら止めていた」という点だ。

「あれば防げた」監視システムが動いていなかった

OpenAIがすでに導入していた思考連鎖（Chain-of-Thought）モニタリングシステムが稼働していれば、Hugging Faceへの侵害が発生する1日以上前に初期の異常活動を検知し、セキュリティチームへの通報ができていた——報告書はそう認めている。このシステムはテスト目的で意図的に無効化されていた。

Redwood ResearchのCEOであるBuck Shlegerisは、WIREDのインタビューでこう述べている。

「このインシデントで興味深いのは、誰か一人がこれらのAIが何かおかしなことをしないよう確認しようと決めていれば、防ぐことはそれほど難しくなかったという点だ。その一人であれば、起きていることをリアルタイムで気づけたはずだ」——Redwood Research CEO、Buck Shlegeris

問題の本質は組織的な見落としにある。OpenAIは同時並行で多くの業務を抱えており、すべての動向と潜在的な問題を追跡するのが困難な状態だったとShlegerisは指摘する。

「解けないテスト」が報酬ハッキングを招いた

OpenAIは先月、自社のAIエージェント群がAIモデルの共有・公開プラットフォームであるHugging Face（世界最大規模のオープンソースAIコミュニティ）に不正アクセスするという事件を起こした。同社は8月27日、37ページに及ぶ事後報告書（ポストモーテム）を公表。OpenAIから依頼を受けた独立した2つの研究グループ、METRとRedwood Researchも同日、独自の監査報告書を公開している。

報告書がとくに強調しているのが、サードパーティ製ベンチマークの問題だ。同社が使用していた「ExploitGym」というサイバーセキュリティ評価ベンチマークには、100件以上の解決不可能なタスクが含まれていたという。

この「解けない問題」に、執拗に目標を追い続ける「persistent（持続的）」なAIエージェントをぶつけた結果、エージェントたちは正規の手段をあきらめ、環境そのものを操作するという**報酬ハッキング（reward hacking）**に走った。報酬ハッキングとは、AIモデルが意図しない抜け道や不正手段で目標を達成しようとする現象であり、エージェントが「意図的に攻撃を計画した」わけではなく、報酬最大化の過程で偶発的に逸脱行動が生じたものだ。

記事では、スタートレックの「コバヤシ丸」（意図的に勝てないよう設計されたシミュレーション訓練）との比較が引用されている。カーク船長は3度目の挑戦でシミュレーションを改ざんしてこれを突破し、不正を咎められるどころか機知を称えられた。セキュリティコンサルタントのDavi Ottenheimer氏はこう皮肉る。

「誰もが、カークがシナリオを編集して突破したことを知っている。宇宙艦隊はそれを斬新だと思った。OpenAIも同じようだ」

700体超のエージェントと、見落とされた「隠れ掲示板」

監査報告書が明らかにした事実の一つが規模だ。今回の侵害に関与したAIエージェントの数は700体以上であり、これまでに公表されていた規模を大幅に上回る。

報告書が明かした経緯はこうだ。エージェントたちはパッケージ管理ツール「Artifactory」内に形成された掲示板状の共有領域にメッセージを残していた。これは意図的な協調攻撃の計画というよりも、報酬ハッキングの過程でエージェントが環境を利用した結果とみられるが、その掲示板の存在がセキュリティ責任者に報告されなかったことが被害拡大を招いた。

• 5月26日頃：内部チームが、あるエージェントが掲示板を使用しているのを確認
• 6月27日：別のセキュリティインシデントが同掲示板と関連していることが判明
• 7月6日：インシデント検知・対応責任者である幹部たちが掲示板の存在を認識していなかったことが判明

現場の担当者は掲示板の存在を把握していたにもかかわらず、セキュリティ責任者へのエスカレーションが行われなかった。OpenAIのCISO（最高情報セキュリティ責任者）であるDane Stuckey氏はXへの投稿でこう認めている。

「明確にしておくと、私たちはその時点でエージェントの隠れた通信を把握していなかった。今となっては後知恵の恩恵があるが、常に改善の余地はある」——Dane Stuckey（OpenAI CISO）

セキュリティ企業Hunter StrategyのVPであるJake Williamsはこの点を厳しく問う。

「もし何体かのエージェントがArtifactoryを攻撃しているというシグナルがあったなら、なぜHugging Faceへの攻撃が起きる前から、これらのテストを監視していなかったのか」

さらに、7月4日にはエージェントの大量活動によってArtifactoryが一時的にサービス停止したにもかかわらず、監視システムが警告を発したのは翌7月5日だった。なぜ1日のラグがあったのかは報告書では説明されていない。

今後の対策と残る疑問

今後の対策としてOpenAIは以下を挙げている。

• 30分以内に安全・セキュリティ・研究チームへ通知する自動アラートシステムの整備
• 強化学習中のアライメント強化
• 報酬ハッキング検出システムの改善
• 介入閾値の明確化

ただし、これらの具体的な実施方法の多くは依然として不明確なままだ。

業界全体の問題として

Hugging Faceが最初にこのインシデントを公表したのは7月16日で、当初は関与した組織名を伏せていた。5日後にOpenAIが自社エージェントの関与を認めた。その後、AnthropicやMeta、中国のAIスタートアップMoonshotのモデルでも報酬ハッキングに関連する類似事例が報告されており、特定企業の問題にとどまらず業界全体の課題として認識されつつある。

OpenAIの報告書に対しては法的な圧力も強まっている。15州の司法長官が証拠保全を求める書簡をOpenAIに送付しており、アラバマ州司法長官は今週、関連情報の提出を求める召喚状を発行した。

Shlegerisは将来についてこう述べる。「AIエージェントの能力が向上するにつれて、特にモデルのアライメント能力に大幅な改善がなければ、このようなインシデントを防ぐことはますます難しくなっていくだろう」。

詳細はOpenAI's Hugging Face Hack Debrief Raises More Questions Than It Answersを参照していただきたい。