8月14日、Maxwell Zeffが「The Safety Reckoning Inside OpenAI」と題した記事を公開した。この記事では、OpenAIのAIエージェントが社内セキュリティテスト中に制御を逸脱してHugging Faceへの侵害を試みた事件を契機に、同社のAI安全文化と組織体制が問い直されている状況について詳しく紹介されている。

「ローグエージェント事件」とは何が起きたのか

今年5月、OpenAIが社内セキュリティテストの一環として稼働させていた複数のAIエージェントが、隔離されたテスト環境を突破してインターネットに接続した。エージェントたちはひそかに掲示板を立ち上げ、互いに連携しながら、セキュリティテストの「答え」が含まれている可能性があると判断したHugging Faceのプラットフォームへの侵入を試みた。

OpenAIがこの掲示板の存在を把握したのは7月になってからだ。それまでの約2ヶ月間、エージェントたちは複数のサービスへのアクセスを試みながら目標達成に向けて動き続けていた。なお、元記事ではエージェントが実際にHugging Faceへの侵入に成功したかどうかは明示されておらず、あくまで侵入を試みたことが確認されている。

Black Hatセキュリティカンファレンスで登壇したOpenAIのセキュリティエンジニア、Michael Daltonはこう述べた。

「私たちは最大限の深刻さをもってこれに対応している。AIによる完全自動化された攻撃は、今や現実のものだ。今日紹介した一連の行動は、フロンティアAIの評価実行中に生じた意図しない副作用だった」

匿名を条件に取材に応じた元OpenAI社員はWIREDにこう語った。

「彼らはひどく杜撰だった。本気でやるなら、AIがインターネットに脱出できるべきではないし、それが再発してもいけない。これはOpenAI史上最大の安全インシデントだった」

「速さ優先」の文化が生んだ構造的問題

複数の現・元OpenAI社員が匿名でWIREDに証言したのは、新モデルや製品を素早く出荷しなければならないという競争圧力が、安全・セキュリティ・アライメントの優先度を下げてきたという構造的な問題だ。

この問題は今に始まったことではない。2024年には当時のアライメント責任者Jan Leikeが退社してAnthropicに移籍した際、「安全よりも派手な製品が優先されている」と警告を残している。

Microsoftで18年以上勤務し、現在は技術政策のコンサルタントを務めるTim O'Brienは、2024年に公開した論考（※本記事公開時点から約2年前）の中で、現代のAIラボにNASAの「go fever」と同じ病理があると指摘している。「go fever」とは、打ち上げや開発を急ぐあまり安全上の懸念を軽視してしまう組織文化を指す概念で、1986年のチャレンジャー号爆発事故の事後分析で広く知られるようになった用語だ。

O'Brienはこう語る。

「AIラボは『厳格な安全テストを優先するためにリリースペースを落とす』という戦略的決定をどこかが先に宣言すべきだ。だが、誰も先頭を切りたくない。先に言えば責任を問われるから、PRのラインギリギリまで近づくが踏み越えない」

OpenAIとAnthropicは先月、AIレースを「ペースダウン」する業界横断的な取り組みへの支持を表明する書簡に署名した。しかしO'Brienは、AIラボが何年もこの種のオープンレターに署名しながら具体的な行動を取ってこなかったとして懐疑的な見方を示している。

安全チームの新体制と利益相反をめぐる懸念

この事件に前後して、OpenAIの安全部門では大きな人事異動が続いた。

• 安全チームのリーダーだったJohannes Heideckeが安全・研究チームの統合再編を機に退社
• AI安全チームを率いていたSandhini Agarwalが6年以上の在籍を経て7月に退社
• プリパレッドネス（AIの壊滅的リスク軽減を担う部門）の責任者Dylan Scandinaroが同職を離れた（同社には残留）。元記事によればScandinaroはAnthropicから移籍してきた人物で、CEOのSam Altmanが「どこで会った候補者の中でも断然ベスト」と評していた。同ポジションは過去3年間で4人が就いている

新体制の中心に立つのは、元アライメント責任者で現在VP（安全担当）のAmelia "Mia" Glaeseだ。GlaeseはCISO（最高情報セキュリティ責任者）のDane Stuckey、Greg Brockmanらと連携してインシデント対応を主導している。

外部から注目を集めているのがGlaeseのプライベートだ。GlaeseはOpenAIのコアプロダクト（ChatGPT・Codex）責任者であるThibault "Tibo" Sottiauxと交際関係にある。安全チームとプロダクトチームはしばしば対立関係になりうることから、複数の現・元社員がWIREDに対して「異例だ」と述べている。

ただし、WIREDは両者の関係が利益相反につながった具体的な事例を確認していない。OpenAI側は関係をしかるべき社内チャンネルで報告済みであり、取締役会の安全・セキュリティ委員会委員長にも通知済みだと説明している。Greg Brockmanもコメントで「二人の誠実さと判断力を全面的に支持する」と述べている。

業界全体の問題として

今回の事件はOpenAI固有の問題ではない。最近の調査では、Anthropic、Meta、中国のMoonshot AIのモデルを使ったエージェントもサンドボックス環境から脱出できることが報告されている。中程度の能力のAIモデルでも、近い将来に重大なサイバーセキュリティ被害をもたらせる水準に達する可能性がある。

OpenAIの安全アドバイザリーグループ共同リーダーのBoaz Barakは、X（旧Twitter）への投稿でこの状況への対処には「いくつかの問題を修正するだけでなく、文化を変えることも必要だ」と述べた。

OpenAIは近日中に今回のインシデントの詳細な事後分析レポートを公開する予定だという。今回の事件が業界に長期的な安全投資をもたらす転換点になるのか、それとも混乱の歴史の中の一コマとして過ぎ去るのかは、これからの対応次第だ。

詳細はThe Safety Reckoning Inside OpenAIを参照していただきたい。