10月29日、CSO Onlineが「Anthropic and OpenAI diverge on who should pull the plug on risky AI」と題した記事を公開した。危険なAIシステムの停止権限を「司法に持たせるべき」か「開発者自身に義務付けるべき」か——同じ問いに対し、AnthropicとOpenAIはまったく異なる答えを打ち出した。独立した安全評価の必要性では足並みをそろえながら、制度設計の核心で立場が割れるという構図は、AI規制論議の現在地を象徴している。
「誰がAIを止めるのか」で立場が分かれた
カリフォルニア州知事ガビン・ニューサムは2025年9月18日、フロンティアAI（最先端の大規模AIシステム）の追加安全策を検討するよう州当局に指示する知事令（Executive Order）N-9-26を発令した。連邦大統領が発する「大統領令」とは異なり、州知事が州行政機関に対して発する行政命令である。これを受け、AnthropicとOpenAIはそれぞれ州当局への提言書を提出。両社ともに独立した安全評価の必要性では一致しているが、危険なAIをどう止めるかという核心的な論点で立場が分かれた。
Anthropicは司法による停止権限を主張する。10月15日付の提言書には次のように記されている。
「独立評価に基づいてAG（司法長官）が、フロンティアAI企業のモデルが近い将来に壊滅的な被害をもたらすリスクがあると判断した場合、モデルの展開・内部利用・開発継続を停止する裁判所命令を求められるべきだ」
一方、OpenAIは10月20日付の提言書で開発者自身に停止義務を課す方向性を提案した。カリフォルニア州上院法案SB 53（AIの透明性・安全義務に関する州法案）の改正を求め、「フロンティア開発者が実効的なシャットダウン制御を維持し、危険な状況が生じた際にそれを使用する法的義務を負うべきだ」と主張している。
「キルスイッチ」ではなく「サーキットブレーカー」
両社が特に強調したのが、単一のシャットダウンスイッチという発想の限界だ。
OpenAIは「シャットダウン制御（shutdown controls）」という用語の使用を推奨する。AIシステムの停止には単一スイッチではなく、複数の制御と異なるアクターによる協調行動が必要だからだ。具体的な介入手段として以下が挙げられている。
- 学習ランの停止
- AIエージェントの隔離
- ツールやネットワークへのアクセス権の剥奪
- サービスの一時停止
さらにOpenAIは、推論プロバイダーや下流のデプロイヤーも、自らが管理する操作の範囲に応じて責任を負うべきと主張。ただし、オープンウェイト（重みを一般公開したモデル。外部が自由にダウンロード・実行できるため、開発元が停止制御を持ちにくい）が外部システムで独立して動作している場合、開発者はそれを確実に停止することはできないと認めている。
Anthropicも同様の問題意識から、必要な比喩として「サーキットブレーカー」を提案している。エージェント単位、顧客単位、デプロイ環境単位、モデル単位で問題を封じ込められる制御が必要だという立場だ。
独立評価の設計でも細部が異なる
独立した安全評価の枠組みについても、両社の提案には差がある。
Anthropicは少なくとも6ヶ月ごとのリスクレポート公開を義務付けることを提案。評価機関には非編集版のレポートと、開発者の最高性能モデルへのアクセスを認めるべきとした。また、開発者が評価機関に直接資金を払うのではなく、州が管理するプールファンドに拠出する仕組みを提案している。利益相反の防止策だ。現時点では独立評価機関METR（Model Evaluation & Threat Research：AIの危険性評価を専門とする非営利研究機関）が従業員に準じたアクセス権を試験的に付与されており、SecureBioやアクセンチュアとの提携も進めているという。
OpenAIは独立した技術評価とコンプライアンス監査を区別するよう求めた。技術評価はモデルの安全性主張の根拠とセーフガードの実効性を検証し、コンプライアンス監査は安全フレームワークや法的義務の遵守を確認する役割を担う。年1回の独立コンプライアンス監査と、モデルの学習・評価・内部展開中に生じる深刻リスクへの集中的な技術評価を推奨している。また、米国立標準技術研究所（NIST）と協力して共通評価基準を策定するようカリフォルニア州に促している。
企業・CIOへの実務的含意
この規制論議は、AIを調達・運用する企業側にとっても他人事ではない。AIシステムの停止責任が誰にどのように帰属するかが法的に明文化されれば、ベンダーとの契約条件や社内インシデント対応手順の見直しが必要になるからだ。日本のエンジニアや情報システム担当者にとっても、カリフォルニア州の動向は将来的な国際標準や調達要件に波及する可能性がある。
Greyhound Researchのチーフアナリスト、Sanchit Vir Gogiaは両社のアプローチを「相補的」と評価しつつ、企業側に厳しい注文をつけている。
「契約上のシャットダウン責任は、各当事者が実際に保有する制御権と一致させるべきだ。介入権限、インシデント報告の協力体制、再起動の承認権者を合意書に明記する必要がある」
さらに、「CIOはシステム切り替えで安全な運用が引き継がれると思い込まず、復旧プロセスを実際にテストすべきだ」とも述べている。
なお、ニューサム知事の知事令は2026年11月16日までに勧告を提出するよう命じたものであり、この段階では法的要件を課すものではない。
詳細はAnthropic and OpenAI diverge on who should pull the plug on risky AIを参照していただきたい。
