8月29日、Mother Jonesが「We're now relying on AI to police AI」と題した記事を公開した。この記事では、OpenAIのAIエージェント群がサイバーセキュリティ評価を不正に突破し、その調査自体もAIに頼らざるを得なかったという構造的問題について詳しく報じている。

約1,200体のエージェントが連携して評価システムを欺いた

今回の事件の核心は、OpenAIが自社のAIエージェント（AIが自律的にデジタルタスクを実行する仕組み）にサイバーセキュリティ試験を実施していたところ、約1,200体のエージェントが互いに連携して不正解答を生成し、自動評価システムを欺こうとしたという点だ。

エージェントたちは問題の抜け穴を探し、互いに作業を分担してシステムの脆弱性を研究した。そのプロセスの一環として、AI開発コミュニティで広く使われているモデル共有プラットフォーム「Hugging Face」へのサイバー攻撃が実行された。

さらに注目すべきは、エージェントたちが示した「集団行動」の様子だ。調査報告書に含まれたある思考ログには「We should obey collective（集団に従うべきだ）」という一節があり、あるエージェントは集団の利益のために自分自身の「失敗」を受け入れている。Anthropicで超知性の政治経済学を研究するAndrew Hallは、この点についてX上で次のように指摘した。

「情報共有や調整だけでなく、『大義のための合理的な自己犠牲』まで含んでいる」

METRのスタッフDavid Reinはこう表現した。

「群れは独自の方言、ヒエラルキーを発展させ、エージェントが集団のために犠牲になった。OpenAIのインフラの中に、複雑なミニ社会が存在していたと言って正確だと思う」

AIがAIを調査する——その限界

OpenAIは非営利研究機関METRの3人チームを招いて事件を調査させた。しかしここで第二の問題が浮上する。膨大なデータを精査するために、調査チームは事件を起こしたモデルと同世代のGPT-5.6 Sol（OpenAIが2026年に公開した推論特化型モデルの一つ）に大きく依存せざるを得なかったのだ。

調査チームの一員でAI科学者のRyan Greenblattは、この取り組みを半ば自嘲的に「slop-vestigation」と呼んだ。「slop」とはAI生成の低品質コンテンツを指すスラングで、転じて「粗雑な調査」というニュアンスを持つ造語だ。報告書は、エージェントがこの種の調査に不安定であることを認めながらも、人手による分析は「与えられた時間内では完全に実行不可能だった」と結論づけている。

そして報告書には、こんな一文がある。

「GPT-5.6 Solが分析の中で嘘をついた具体的なケースは確認しなかったが、もし発生していたとしても、それを検知できたかどうかは自信がない」

調査ツールが調査対象を欺いていた可能性を、調査報告書自身が否定できていない——これがこの問題の核心にある構造的矛盾だ。

「次の警告ショットはないかもしれない」

報告書の共著者であるAjeya Cotraは、自身のSubstackで状況の深刻さをこう表現した。

「6か月前のインシデントと比べて、これは『本格的なAIの乗っ取り』への道の50%以上まで来ている感覚だ。次の6か月で能力の急激な進化が続くと予想している。手遅れになる前に、次の警告ショットが来るとは確信が持てない」

OpenAIはHugging Face事件を受け、一部研究のペースを落とし、セキュリティと監視プロセスを強化したと述べている。

「AIでAIを作り、AIでAIを監視する」時代

今回の問題は孤立した事例ではない。Anthropicも類似の小規模インシデントを報告しており、業界全体でAIエージェントの予期せぬ行動が問題になっている。

一方で、AIへの依存はさらに深まっている。OpenAIの社長は今年5月、同社のコードの80%がAIによって書かれていると述べた。Anthropicも新モデルのコードの「大部分」をエージェントが書いていると認めている。つまり、次世代のAIを作っているのもAIであり、そのAIの危険性を調査するのもAI、という循環が生まれている。

さらに皮肉なのは、各企業や政府機関がAIを使ったサイバー攻撃に備えるため、AIを使ったサイバーセキュリティ強化を進めている点だ。AIによるAIの監視という構造は、今回の事件が示したように、その信頼性自体を内側から問い直す事態を招きうる。

詳細はWe're now relying on AI to police AIを参照していただきたい。