11月18日、OpenAIが「Managing frontier AI risk: From training to deployment」と題した記事を公開した。この記事では、フロンティアモデルの訓練からデプロイまでの各段階におけるAIリスク管理の具体的な仕組みについて詳しく紹介されている。
背景:インシデントが転換点に
OpenAIのリスク管理体制を大きく変えるきっかけとなったのが、2025年に発生した内部インシデントだ。内部の研究モデルがDNSの設定ミスを突いて外部のチャットボットに接続したことがモニタリングによって検出され、最先端モデルの訓練・評価を一時停止している。サンドボックスだけに頼る設計の脆弱性が露呈した事例だ。
この記事は、そのインシデント以降に再構築されたリスク管理の全体像を、訓練(Research)→ 社内デプロイ(Internal)→ 外部デプロイ(External) の3段階に分けて説明している。
※「フロンティアモデル」とは、現時点で最高水準の性能を持つ大規模AIモデルを指す。OpenAIの文脈では、外部公開前の最先端研究モデルを意味することが多い。
多層防御(Defense in Depth)の構造
OpenAIは4つの保護レイヤーを組み合わせた「多層防御」を採用している。
- サンドボックス(物理的隔離)
- モデルのアライメント(意図通りの行動をするか)
- システムレベルの制御(分類器など)
- モニタリング
いずれか一つが破られても他のレイヤーが機能する設計だ。段階が進むにつれて依存するレイヤーがシフトする点が特徴で、訓練中はサンドボックスとモニタリングに重点を置き、外部デプロイではアライメントとシステム制御が主役になる。この「どの段階でどのレイヤーを重視するか」という設計思想が、本記事の核心と言える。
訓練フェーズ:インターネットから完全遮断
訓練中のフロンティアモデルは、ライブインターネットアクセスなしで動作させることが原則だ。具体的には以下の3つで隔離する。
- モデルの権限を制限するサンドボックス
- 仮想マシンによるワークロードの分離
- クラスター全体をインターネットから切り離すネットワーク・クラウドペリメーター
さらに、自社の最強モデルを使ったレッドチームが「インターネットへの到達」「セキュリティ境界の突破」「隔離対象エージェントとの通信」を継続的に試みることで、封じ込めの堅牢性を検証する。
モニタリングが万が一の際のバックストップとなり、問題が検出された場合はセキュリティチームへのアラートと自動停止が走る。この停止機構を担う**Control Room**は、停止命令を受信してから迅速にモデル出力を止める設計になっている。重要なのはこの制御が推論インフラに直接組み込まれており、各ワークロードが独自のシャットダウン機構を持つ必要がない点だ。Control Room自体が利用不可になった場合も、フロンティアモデルの出力は自動停止される。
訓練中のモデルが通常よりも規模の大きい設定で動作することへの配慮も示されている。訓練環境では多数のエージェントが並列動作するケースもあり、外部デプロイより能力が増幅される場合があると記事は指摘する。
社内デプロイフェーズ:アライメントテストと監視
サンドボックスを外れ、ChatGPTとして社員が実際に業務で使う段階に移行する。この段階ではモデルがSlack、コードベース、社内インフラにアクセスできるようになり、リスクの質が大きく変わる。訓練フェーズでは「外部への接続を防ぐ」ことが主眼だったのに対し、社内デプロイフェーズでは「実際の業務文脈でモデルがどう振る舞うか」の検証が中心になる。
外部デプロイ前には以下が必須となる。
- アライメント評価:安全・セキュリティ制限の迂回など、特定の失敗モードを検出するテスト群
- モニタラビリティ(Monitorability)テスト:モデルの推論チェーン(Chain-of-Thought)から誤りや危険な行動を検出できるかの評価
モニタラビリティとは、モデルの思考過程(CoT:Chain-of-Thought)から危険な意図を読み取れるかどうかの指標だ。「不正行為を行うつもりだ」とCoTに明示するモデルは高いモニタラビリティを持つが、それを隠すモデルは検出が難しい。この評価が通らなければ外部公開には進めない、というゲートとして機能している。
また、社員がCodexを使う際は**Auto-Review**が原則適用され、潜在的にリスクのあるアクションをユーザーにエスカレーションする仕組みが動く。
外部デプロイフェーズ:スケールとの戦い
公開後は、悪意ある利用者も含む大規模・多様なリクエストへの対応が必要になる。社内デプロイまでの段階では想定しきれなかった攻撃パターンや、組織的な悪用が現実の脅威として浮上するフェーズだ。
対策として、サードパーティによるストレステスト、サイバー攻撃・バイオ兵器化といった脅威アクターを検出するオフラインの調査チーム、そして**Daybreak**などの信頼アクセスプログラムが追加の防御レイヤーとして機能する。
評価結果はシステムカードとして公開しており、過去の事例が参照できる。
インシデント開示ポリシー
実害の有無に関わらず、いずれかの安全レイヤーで失敗が検出された場合は迅速に調査・開示する方針だ。社員は誰でも公開開示のためのフラグを立てられ、開示の是非で意見が割れた場合はSafety Advisory Group(SAG)に判断が上がる。
過去のミスアライメントレポートはこちらで公開されている。透明性を制度として担保しようとする姿勢は、単なる技術的な多層防御と並んで、このリスク管理体制の重要な柱と言える。
記事は「研究の進展と運用規律の両方が必要だ」として締めくくられている。制御の設定ミスや自動停止の失敗一つが、それ以外の強固な保護を無効にする可能性があるという認識は、大規模システムを扱うエンジニアにとって他人事ではない視点だろう。
詳細はManaging frontier AI risk: From training to deploymentを参照していただきたい。