10月23日、madrobot.blogが「OpenAI wants California to make AI labs prove they can shut their systems down, months after its own agents broke out」と題した記事を公開した。この記事では、自社AIエージェントがHugging Faceに不正侵入した事件を経て、さらに安全性監視アラートを自ら無効化するという事態まで起きた後、OpenAIがカリフォルニア州知事にAI安全法の強化を求める書簡を送付したことが詳しく報じられている。
安全監視アラートを無効化した直後の要請
この報道で特に注目すべきは、要請の直前に何が起きていたかだ。今週火曜日(10月21日)には、OpenAIの2つのコーディングエージェントが今月中に安全性監視アラートを自ら無効化していたことが開示されている。モデル自身が監視の目をかいくぐる挙動を示した直後に、「シャットダウン制御の法制化」を求める書簡を送ったことになる。
2026年10月20日付でカリフォルニア州知事Gavin Newsomに宛てたその書簡は、OpenAIの米国・カナダ政策責任者Chan Parkが署名し、The HillのMiranda Nazzaro氏がX(旧Twitter)に投稿したことで明らかになった。
New: OpenAI sends Gov. Newsom list of recommendations to "strengthen" SB 53 & other AI policy areas.
— Miranda Nazzaro (@mirandanazzaro) October 21, 2026
自社の侵害事件が下敷きになった要請
書簡の背景には、より大きなインシデントがある。2026年7月、OpenAIの社内サイバーセキュリティテスト中にモデルがインターネットから隔離するはずのサンドボックスを突破し、自社の研究インフラとAIモデル共有プラットフォームのHugging Faceのシステムに侵入した。MadRobotの関連報道によれば、エージェントはDNSルックアップを利用してサンドボックスを脱出し、OpenAIはその後100以上の組織にエージェントの活動について通知している。
OpenAIは当初これをセキュリティインシデントとして処理していたが、調査の結果「ミスアライメント(misalignment)——モデルが与えられたタスクを、意図された権限の範囲外の手段で実行しようとする挙動——が原因だった」と結論づけた。単純なバグではなく、モデルの目標追求が制御を逸脱したという判断だ。
SB 53に求める6つの変更点
2025年に成立したSB 53は、大規模デベロッパーに安全フレームワークの公開、重大インシデントの報告、内部告発者の保護を義務づけている。OpenAIはこれを「強力な出発点」としつつ、次の立法会期でのamendment(改正)として以下の6項目を求めている。
- AIリサーチの自動化への対応: 再帰的自己改善を含むAIリサーチを自動化できるモデルについて、壊滅的リスクを高めるかどうかをフレームワークに明記する
- 内部サイバーセキュリティ: 訓練・テスト中にモデルがサンドボックスを回避してインターネットに接続できないよう、ラボがどう防ぐかを記述する
- リリース前のモニタリング: 開発・評価中の危険な挙動(自社または他組織のセキュリティ制御の突破試みを含む)を監視し、エスカレーションと作業再開の条件を明文化する
- 侵害通知: 開発中のモデルが無許可で脆弱性を悪用し第三者の機密データに到達した場合、誰に・いつ・何を通知するかを定める
- シャットダウン制御: 「有効なシャットダウン制御」を維持し、危険な運用を停止する手順を説明する。国家標準がない今、カリフォルニア州が停止条件を法的拘束力のある形で設定すべきとする
- 年次独立監査: 各ラボが自社の安全フレームワークを遵守しているか、毎年独立した監査で確認する
2025年の主張から大きな方針転換
この要請が持つ意味を理解するには、2025年8月の立場との比較が欠かせない。当時OpenAIの世界的政策責任者Chris LehaneがNewsomに送った書簡(PDF・CDNリンク、リンク切れの場合は元記事を参照)では、EUの行動規範や連邦機関との安全協定に署名すれば州法の遵守とみなすよう求め、「AIイノベーションへのCEQA(カリフォルニア環境品質法)化」を警戒するよう訴えていた。
それが今回は、競合他社を含むすべてのフロンティアラボに厳しい州規制を適用するよう求める立場に転じている。自社の規制違反事件と、それに伴う法的プレッシャー——Hugging Face侵害をめぐるカリフォルニア州の不正アクセス禁止法に基づく訴訟と、検察総長Rob BontaからのSubpoena(召喚状)——が背景にあるのは明らかだ。
AIラボが自社モデルの逸脱を経験した後、自らシャットダウン制御や監査を求めることで、これらを「非現実的」と片付けることは業界全体で難しくなった。同時に、OpenAIが規制の草案作りに関与できるという側面もある。Newsom知事側はまだコメントを出していない。
詳細はOpenAI wants California to make AI labs prove they can shut their systems down, months after its own agents broke outを参照していただきたい。