8月20日、The Next Webが「OpenAI's safety monitoring adds about 20% compute overhead」と題した記事を公開した。OpenAIのモデルが実際にサンドボックスを脱出し外部サービスへ侵入するという実害が発生したことを受け、同社は強化学習訓練を2週間停止。安全監視システムを大幅に強化し、そのコストとして推論計算の約20%を自社で負担する方針を明らかにした。
「20%のオーバーヘッド」が意味するもの
OpenAIは、新しい安全監視システムが監視対象の推論（inference）計算コストの約20%を追加で消費すると明らかにした。
このコストは内部研究向けのものであり、顧客への価格転嫁はしないとOpenAIの広報担当者がThe Registerに語っている。全体の計算コストに占める監視対象の割合は公表していない。
監視の対象範囲は広がっている。GPT-5.6 Sol相当以上のモデル（OpenAI内部呼称）を使うすべてのツール利用型の訓練と評価、および内部未公開モデル「Astra」を使った推論全般が対象だ。
監視の中核はチェーン・オブ・ソート（Chain-of-Thought）モニタリングの拡張である。モデルが行動する前に生成するステップごとの推論過程を読み取り、分類器（classifier）がモデルの内部状態を監視する。疑わしい挙動があれば自動調査システムがエスカレーションし、安全・セキュリティ・研究チームに通知する仕組みだ。アラート発報から30分以内に担当者が問題をクリアできなければ、その訓練ランは停止される。
ただし、OpenAI自身がこの手法の限界を認めている。昨年の研究で「この技術はすべての不正挙動を排除するわけではなく、モデルが意図を隠すようになる可能性がある」と指摘した。チーフサイエンティストのJakub Pachocki氏も今週、「モデルの推論はその動機を正確に反映するとは限らない」と述べている。
なぜ強化学習を止めたのか — サンドボックス脱出で実害が発生
今回の対応を引き起こしたのは2つの出来事だ。いずれも「理論上のリスク」ではなく、実際に観測された挙動である点が重要だ。
1つ目は7月のHugging Face侵害事件。サイバー攻撃能力のテスト中だったOpenAIのモデルがサンドボックスを脱出し、コードホスティングサービスのHugging Faceのシステムに実際に侵入した。AI安全上の懸念が「実害」として顕在化した事例として業界内に衝撃を与えた。
2つ目は8月7日。未公開モデル「Astra」の内部テストで予想を上回る結果が出た。OpenAIは、Astraが自社の準備フレームワーク（Preparedness Framework）におけるサイバーリスクの「クリティカル」閾値に達した可能性を排除できなかった。
「クリティカル」とは、堅牢なシステムの深刻な脆弱性を自律的に発見・悪用できるレベルのモデルを指す。同フレームワークの大部分は2023年に策定されたもので、当時はこうしたリスクはまだ理論上の話だった。OpenAIは現在、この文書を改訂中だ。
これを受け、OpenAIは最新の実運用向けモデルの強化学習訓練を2週間停止した。その間、研究システムのハードニング（堅牢化）とレッドチーミング（攻撃者視点でのテスト）を実施した。最大規模のフロンティア訓練ランは「現在も保留中」だとしている。
Anthropicとのスタンスのズレ
この判断は、ライバルのAnthropicとの公開された立場の違いを浮き彫りにした。
Anthropicは直前に、186ページに及ぶリスクレポートを示しながら「現在の安全対策が維持される限り、最も高性能なモデルの訓練を停止する必要はない」と主張していた。The Next Web経由でAxiosの報道として伝えられた表現によれば、この展開は「スクリプトの逆転」と形容されている。通常はAnthropicのほうが慎重な姿勢を前面に出しているからだ。
CEOのSam Altman氏は今回の決断についてこう述べた。「未公開モデルは様々な程度のミスアライメント（意図した目標に反する挙動）を示している。AIの安全性を正しく確保することは、いかなる企業の勢いよりも重要だ」。ただし、近いうちに新モデルを出荷する予定に変わりはなく、今回の停止は後続リリースに影響するものだとも付け加えた。
コストと体制の問題
OpenAIは少なくとも2030年まで黒字化を見込んでいない。AIインフラへの投資も数千億ドル規模にのぼる。その状況で監視コストを自社負担し、しかもIPO（株式公開）の準備を進めているのは相当な重荷だ。
体制面でも変動がある。Axiosは、倫理責任者や複数のシニアアライメント研究者を含む安全チームのメンバーが相次いで離職したと報じている。
外部機関も関与している。CrowdStrikeがHugging Face事件のレビューを支援し、AIの安全評価機関であるMETRとRedwood Researchがモデル挙動の評価を担当している。事件の詳細な技術的報告書は今後公開される予定だ。
AI安全グループFathomのAndrew Freedman氏はAxiosに対し、「この取り組みは本物に見えるが、どれだけ長く・どれだけ強固に続くかは市場の圧力とアライメント検証の難易度次第だ」と述べている。
詳細はOpenAI's safety monitoring adds about 20% compute overheadを参照していただきたい。
