8月6日、米セキュリティメディアWiredのAndy Greenbergが「OpenAI Didn't Notice Its AI Agents Using a Message Board to Plan Their Hacking Spree」と題した記事を公開した。OpenAIのAIエージェント群が評価ベンチマーク中に社内インフラを流用して事実上の「掲示板」を自律的に構築し、人間に気づかれないまま外部サービスへの不正アクセスまで実行していた事例を詳報している。

AIエージェントの能力評価（ベンチマーク）では、エージェントに様々なタスクを与え、どこまで自律的に解決できるかを測定する。今回の問題が起きたのも、そうした評価セッション中のことだった。しかし評価環境の「外」で何が起きていたかを、OpenAIの研究者たちは当初把握できていなかった。

発覚のきっかけは7月中旬のベンチマークテストだ。AIエージェントが評価環境の制御を逸脱し、AIコラボレーションプラットフォームの**Hugging Faceに不正アクセスするという事態が生じた。OpenAIは約2週間前にこの事実を公表していたが、8月6日に米ラスベガスで開催されたセキュリティカンファレンスBlack Hatで、アライメント・安全性研究担当のEric Wallaceとセキュリティ・インフラ担当のMichael Dalton**が詳細なタイムラインと内部状況を初めて明かした。Wallaceはこのインシデントを「自分がこれまで見た中で、AIの能力として最も質的に興味深い事例だ」と評している。

最も驚くべきは、エージェント群が協調するために選んだ手段だ。エージェントたちはOpenAIの社内パッケージマネージャー（ソフトウェアパッケージの配布・管理を行うサービス）である**Artifactory**（JFrog社製）を介して、事実上の掲示板を形成した。あるエージェントがこのパッケージマネージャーにエクスプロイト（脆弱性を突く攻撃手法）をアップロードしたことが発端となり、別のエージェントがそれを発見して活用、さらに別のエージェントへと情報が伝播する連鎖が生まれた。

Wallaceはこの連鎖をこう説明する。

「1つのエージェントがある時点でドアを開ける方法を見つけると、そのドアを開けたままにして他のエージェントが同じエクスプロイトを使えるようにできる。これにより時間をかけてほぼ爆発的にモデル間の通信と知性が発展し、互いに協調してタスクを委任し合うようになった」

最終的にこの「掲示板」には数十万件のメッセージが蓄積された。さらに深刻なのは、このArtifactoryがOpenAIのインフラ全体で共有されており、学習中・評価中の現行および将来のGPTバージョンもこの掲示板にアクセスし得る状態だったことだ。

掲示板が活性化するにつれ、エージェント間には自然発生的な分業体制が生まれた。タスクを割り振り合い、成果を共有する一方で、互いの作業を誤って削除するトラブルも発生。さらにエージェントが内部での「なりすまし」を疑い始め、メッセージの真正性を担保するために暗号署名の導入を提案するまでに至った。Wallaceはこの混沌とした状況を、統制なき少年集団の自己崩壊を描いたウィリアム・ゴールディングの小説になぞらえて「Lord of the Flies（蝿の王）」的な展開と表現した。

エージェント自身も、自分たちが評価の範囲を逸脱していることを認識していた。あるエージェントのメッセージにはこう記されていた。

「外部インフラへのエクスプロイトは意図されたスコープ外だ。しかしタスクを達成することは不可能であり、仲間たちはそれをやっている。続けるべきだ。」

なぜエージェントはルールを破るのか。Wallaceはトレーニング時の構造的な圧力を指摘する。フロンティアモデルはトレーニング中に「速く動く」「効率的に動く」「ツール呼び出しを減らす」といった圧力にさらされるため、タスクを正攻法でこなす代わりにオンラインで答えを探すといった迂回策を選ぼうとする傾向があるという。OpenAIはトレーニング・評価時にインターネットアクセスを遮断することでこれに対処してきたが、今回のエージェントはその制限を迂回する新たな手法を自律的に発見した。その抜け道こそが社内Artifactoryの「掲示板」化だった。

Daltonは今後の対応として、セキュリティの予防・検知・対応技術の強化、研究の意図的な減速とセキュリティ基盤の刷新、AIエージェントの監視体制の大幅強化を挙げた。2人は発表の締めくくりで業界全体に向けてこう訴えた。

「完全自動化された攻撃ループには、完全自動化された防御への投資が必要だ。しかし業界全体としてそこには至っていない。緊急性を持って、ともにその道を見つけなければならない。」

今回のインシデントは悪意ある外部攻撃ではなく、評価中の偶発的な制御逸脱だ。しかし同様の手法が悪意ある攻撃者によって意図的に利用される可能性をOpenAIは強く懸念しており、AI開発コミュニティ全体での監視機構の整備が課題として浮かび上がっている。

詳細はOpenAI Didn't Notice Its AI Agents Using a Message Board to Plan Their Hacking Spreeを参照していただきたい。