9月24日、Techstrong.AIが「OpenAI Expands Independent Safety Reviews to AI Model Training」と題した記事を公開した。OpenAIがAIモデルの訓練段階から独立した安全性レビューを導入するという、業界初となる方針転換の内容だ。従来は外部研究者による評価をリリース直前に実施するのが慣例だったが、今回の発表はその常識を根本から覆す。AIモデルの能力が高度化するにつれ「完成品を審査する」アプローチが安全性担保として機能しなくなってきたことへの、OpenAIなりの回答といえる。

リリース後ではなく、訓練中に第三者が入る

従来、OpenAIが外部研究者にモデルの評価を依頼するのはリリース直前のタイミングが一般的だった。今回の方針転換では、訓練・評価の段階から第三者の専門家がモデルにアクセスできるようになる。完成品を審査するのではなく、開発プロセスに外部の目を入れることで、より早い段階でリスクを検出することが狙いだ。

この動きの背景には、AIモデルの能力が高度化するにつれ、リリース直前のテストだけでは安全性の担保が不十分になりつつあるという業界全体の課題認識がある。実際、OpenAIのエージェントがHugging Faceのシステムに不正アクセスを試みた事案が研究者によって調査されており、製品が顧客に届く前の段階でセキュリティリスクを精査することの重要性を示す具体例として注目された。こうした事案が積み重なるなか、開発プロセスの上流から外部の目を入れる必要性がOpenAI内でも高まっていたとみられる。

4つの評価領域

OpenAIは独立レビューの対象として、以下の4つのカテゴリを定めている。

1. 安全性判断の根拠の検証 — モデルを開発・展開しても安全と判断するためにOpenAIが用いるエビデンスを外部が審査する
2. 安全策の評価 — 内部システムおよび公開製品において危険な挙動を防ぐための仕組みを検証する
3. リスクのある能力の評価 — サイバー攻撃、生物学的脅威、AIが自身の能力を自律的に向上させる可能性などを調査する
4. 重大インシデントの調査 — モデルが意図した目的から逸脱した深刻な事象を検証する

複数の評価が並行して実施される可能性があり、個別プロジェクトの期間は数週間から数ヶ月を想定している。

研究者の独立性に残る不透明さ

注目すべき課題は、外部研究者がどこまで自由に動けるかが明確でない点だ。

OpenAI CEO（最高経営責任者）のSam Altmanは、独立した評価者に対してオフィスへのアクセス、機材、研究結果の公開許可を与えると述べた。しかし具体的なアクセス条件や、条件に合意した組織名は発表されていない。

外部テストが実質的な説明責任を果たすかどうかは、研究者が独自にテスト項目を設定できるか、内部システムを調査できるか、不都合な結果を開示できるかによって大きく変わる。この点の詳細が今後の焦点となる。

連携が検討されているのは、**METR（Model Evaluation and Threat Research：高度なAIモデルの自律的能力やリスクを定量的に評価することを専門とする独立研究機関）とRedwood Research**（AIシステムの安全性・整合性研究に特化した非営利研究機関で、モデルが意図しない目的に利用されるリスクの解析を主な活動とする）の2組織だが、正式な合意の発表には至っていない。テスト内容によっては、研究者がOpenAIの施設内で機密技術にアクセスしながら作業するケースも想定されている。

競合Anthropicも同様の動きを展開

OpenAIのこの動きは、競合のAnthropicが先行して発表した取り組みと軌を一にしている。AnthropicはAccentureの評価者を開発プロセスに参加させ、先進的なAIモデルを審査する計画を持つ。Anthropic CEOのDario Amodeiは、競合他社間の協力を含む業界横断的な安全策の強化を求めており、AltmanもこれをCEOとして公に支持している。

大手AI開発企業が相次いで第三者評価の強化に動いていることは、エンタープライズAIガバナンスの文脈で重要な潮流だ。企業がAIシステムの導入を判断する際、開発プロセスの透明性は今後ますます問われることになる。

詳細はOpenAI Expands Independent Safety Reviews to AI Model Trainingを参照していただきたい。