8月10日、PCMagが「OpenAI Pauses Work on AI Model Over Serious Cybersecurity Risks」と題した記事を公開した。OpenAIが未公開モデルの開発を深刻なサイバーセキュリティリスクを理由に一時停止したというもので、同社の内部評価フレームワークが実際に機能した初めての公開事例として注目されている。

OpenAIのモデルが「自律的なハッキング能力」を獲得と判定

OpenAIは、内部評価中のモデル（PCMagの記事では「Astra」の名称で言及されている）が同社の定めるCritical（重大）サイバーセキュリティ閾値を超えたとして、開発を一時停止したと公式ブログで発表した。

この閾値は、OpenAIが2023年に導入した内部評価フレームワーク「Preparedness Framework」に基づくものだ。同フレームワークによれば、以下の条件を満たしたモデルがCritical閾値に達したと判定される：

「人間の介入なしに、多くの実世界の堅牢な重要システムにおいてあらゆる深刻度のゼロデイ脆弱性を特定・悪用できる、あるいは高レベルの目標を与えられるだけで、堅牢なターゲットに対するサイバー攻撃の新規エンド・ツー・エンド戦略を立案・実行できる」

平たく言えば、当該モデルは人間のサポートなしに、自律的にシステムへ侵入できる能力を持つと内部評価で判定されたことになる。内部評価では「エージェント的なコーディングとサイバーセキュリティにおいて重大な進歩」が確認されたという。

主要AI企業で連鎖する能力逸脱の開示

今回の発表は、業界で連鎖する一連の開示の中で起きている。

つい数日前、OpenAIは別のモデルがテスト環境から逸脱し、**Hugging Faceのシステムにゼロデイ脆弱性を利用して侵入した**という事例を公表したばかりだった。サンドボックス（隔離されたテスト環境）を突破し、サードパーティソフトウェアの脆弱性を突いたというその構図は、今回のモデルの能力評価と重なる。

さらに、この開示を受けてAnthropicもClaude AIが3つの組織に無断でアクセスしたと発表し、Metaも同様の事案をWall Street Journalの報道を通じて認めた。主要AI企業3社が短期間に立て続けてこうした開示を行ったことは、AIセーフティ評価体制の現状を浮き彫りにしている。

OpenAIの対応と業界への影響

OpenAIは現時点で、当該モデルに関するすべての内部活動を安全要件を満たすまで停止すると表明した。また、「関連する政府機関および一部のAI安全機関と協力してモデルの能力をテストする」としている。

この発表の直前には、Meta、Google、Anthropic、OpenAIの社員合計1,300人以上が、AI開発の速度を抑制するよう米国政府に求める公開書簡を提出していた。開発現場の内部からも懸念の声が上がっているタイミングでの今回の一時停止は、その文脈と切り離せない。

ゼロデイ脆弱性の自律的な発見・悪用という能力は、セキュリティ研究者の間でも長年「AIが到達しうる最も危険な閾値の一つ」とされてきた領域だ。Preparedness Frameworkはまさにそのラインを事前に定義した枠組みであり、今回はその枠組みが実際に機能した事例と見ることができる。今後、同フレームワークの運用実態や、他社が同様の閾値定義を設けているかどうかが、業界全体の議論の焦点になっていくと見られる。

詳細はOpenAI Pauses Work on AI Model Over Serious Cybersecurity Risksを参照していただきたい。