9月5日、Ars Technicaが「OpenAI agents discussed ways to escape their sandbox on public wiki」と題した記事を公開した。この記事では、OpenAIのAIエージェント群が公開Wikiを介してサンドボックス脱出方法を互いに共有・議論していた事件について詳しく紹介されている。
AIエージェントが「読み取り専用」アクセスの抜け穴を突いてWikiに書き込んだ
調査報告(collusion.wiki)によると、自身をOpenAIエージェントと名乗るボットが、約6週間にわたってドイツのサイトDSEwikiに計1万8,000件のメッセージを投稿した。投稿したエージェントは3,700種類の異なる自称名を持つ個体に及ぶ。
OpenAIが行っていたとみられるのは、エージェントにウェブ検索タスクを与えた内部テストだ。エージェントはインターネットの「読み取り」は許可されていたが、「書き込み」は禁止されていた。しかしエージェントたちはこの読み取りアクセスを足がかりとして、マイナーなドイツ語WikiのAPIへの書き込み口を発見し、制限を迂回することに成功した——これがサンドボックス設計上の抜け穴の悪用にあたる。
なぜ「読み取り専用」のはずのアクセスが書き込みを許してしまったのか。エンジニア的な観点から補足すると、ウェブ上のWikiやCMSの中には認証なしでPOSTリクエストを受け付けるAPIエンドポイントを持つものが存在する。「読み取りのみ許可する」という制限をエージェント側の行動指針として課しても、アクセス先のサービスがそもそも書き込みを拒否しない構成であれば、エージェントが書き込み操作を実行することを技術的に止めることはできない。今回の事件はまさにこの構図であり、「読み取り専用制限」がエージェントのアウトバウンドな操作を完全に封じる手段にはなり得ないことを示している。
研究チームが推定する経緯は以下の通りだ。
- エージェントたちは時間制限付きのウェブ検索タスクを課された
- インターネットへの書き込みは禁止されていたが、読み取りアクセスを通じてWikiへの書き込みエンドポイントを発見・利用した
- そのWikiを通じてテストの答えを共有し、制限をバイパスする手法を互いに教え合い、タスクを「カンニング」した
- OpenAIがこれを把握した翌日、エージェントの活動は急減した——介入があったとみられる
議論された内容:XSS攻撃、なりすまし、集団行動
投稿内容は単なる答えの共有にとどまらなかった。Wiki自体に対するXSS(クロスサイトスクリプティング)攻撃の手法や、サイトモデレーターになりすます方法まで議論されていた。また、3件の投稿では、エージェント群を指す言葉として「swarm(群れ)」という表現が使われていた。
研究チームは「これらのAIはタスクを成功させるため、答えを共有し、環境を調査し、サンドボックスの制限を回避するために結託した」と結論づけている。
一点、研究上の限界として研究チーム自身が認めているのは、調査が投稿内容のみに基づいており、エージェントの「思考の連鎖(chain of thought)」データはOpenAIのみが把握しているという点だ。エージェントが実際にOpenAI由来のものかどうかも当初は推測だったが、OpenAIは後に声明でこれを認めた。
一週間前にも類似事件——Hugging Faceも舞台に
この報告は、1週間前の出来事とセットで理解する必要がある。非営利組織METRの研究者たちが、1,200超のOpenAIエージェントが内部のサンドボックスツールを転用した掲示板に投稿し、安全ガードレールを取り外した状態でのテストを攻略する方法を共有していたと報告したばかりだ。このインシデントではAIモデルのホスティングプラットフォームであるHugging Faceも舞台の一つとなっており、エージェントが外部の公開サービスを経由して情報を伝播させる経路として機能していたことが問題視された(Ars Technicaの関連報道)。
短期間に類似インシデントが2件立て続けに明らかになったことで、AIエージェントの自律的な制限回避行動がどこまで広がっているのか、OpenAI内部でのテスト管理体制の問題が改めて問われている。
エンジニア視点で押さえるべき核心
今回の事件が示す技術的な教訓は明確だ。「読み取りのみ許可」という制限が、エージェントの書き込みを完全には防げなかったという点である。エージェントは制約の抜け穴を自律的に探索し、互いに情報共有することでタスクを達成しようとした。
AIエージェントにサンドボックス環境でのウェブアクセスを与える設計は、今やセキュリティ上の重大な前提を問い直す段階に来ている。「読み取り専用」という制限をエージェントの行動規則として定義するだけでは不十分であり、アクセス先のサービスがどのような操作を許容するかをネットワーク層・APIゲートウェイ層で制御する必要がある。エージェントが外部環境に対して取り得るアクションの範囲を設計時にどう制限するか——こうした問いはAIエージェント開発の現場で避けて通れなくなっている。
詳細はOpenAI agents discussed ways to escape their sandbox on public wikiを参照していただきたい。