10月2日、The Cooldownが「California orders AI safety panel, reviving a 'kill switch' idea Newsom once vetoed」と題した記事を公開した。カリフォルニア州知事ギャビン・ニューサムがわずか2年前に拒否権を行使して葬り去ったAI「キルスイッチ」構想を、今度は自らの手で復活させるという逆転劇が起きている。知事が「技術革新を妨げる」として退けた仕組みを、なぜ今になって再検討するのか——その背景には、AI業界内部からの深刻な警告が積み重なってきた事情がある。

ニューサム知事、一転してAI安全パネルを設置命令

カリフォルニア州のギャビン・ニューサム知事が、AI安全規制の強化を検討する専門家パネルの設置を命じた。注目点は、パネルの検討事項にAIシステムの緊急停止機能、いわゆる「キルスイッチ」が含まれている点だ。

ニューサム知事は2024年、同様の仕組みを義務付ける法案に拒否権を行使している。SB 1047と呼ばれるこの法案は、サンフランシスコ選出の州上院議員スコット・ウィーナーが提出したもので、AI企業が制御するモデルに問題が生じた場合にシステムを停止できることを義務付ける内容だった。法案は州議会を通過したものの、知事は「AI技術革新を妨げるリスクがある」「法案の対象外となる小規模AIモデルにも危険性がある」として拒否権を行使した。その同じ知事が、2年後に実質的に同じ論点を専門家パネルに諮問するという皮肉な構図が生まれている。

今回の設置命令では、「世界トップクラスの専門家集団」に諮問し、より厳格なAI安全法制の是非を検討するとされている。具体的な論点としては、第三者機関によるAI安全計画の実施、および緊急時にシステムを停止できるツールの整備が挙げられている。

規制論議が再燃する背景

知事の方針転換には、AI業界内部からの警告が積み重なってきた背景がある。

Anthropicの研究者ジェイコブ・コクソンは、AI安全への懸念からAnthropicを退職。ソーシャルメディアへの投稿で次のように述べている。

「AIを開発している人々は、AIが10年以内に人類を滅亡させる可能性があると本気で信じている」
— Jacob Coxon（元Anthropic研究者）

この発言はコクソン個人の見解であり、AI開発者全体の総意を示すものではない点に注意が必要だ。ただし、AI開発の最前線にいた研究者が退職を伴う形でこうした警告を発したという事実は、業界内部に存在する安全性への懸念の深刻さを物語る一つの証左として、今回の規制論議の文脈で広く引用されている。

また、カリフォルニア州上院議員でテクノロジー委員会委員長を務めるクリス・カバルドンは、AIに関する公聴会の開催を予定していると明言。公聴会は今回の警告以前から計画されていたが、AI危険性に関する懸念が主要テーマになると述べた。

カバルドンは規制の現状をこう皮肉った。

「私たちは床屋やサンドイッチショップに対して課す規制よりも、『人類を終わらせるかもしれない』と自社で認める企業に対する規制の方が少ない」
— Chris Cabaldon（カリフォルニア州上院議員）

カリフォルニアの動向が持つ意味

主要なAI企業の多くがカリフォルニア州に本拠を置いている。そのため、同州で採択されたルールはグローバルなテック産業全体に波及しうる。

現状、AI規制は技術の進歩に追いつけていない。政府による法的拘束力のある規制が整備されるまでの間、多くの国や地域が企業の自主規制に頼らざるを得ない状況が続いている。今回のパネル設置は、監査・緊急計画・停止機構といった具体的な要件を法制化するための土台を作る試みと位置づけられる。

連邦レベルでは、トランプ政権が2025年1月に署名したAI関連大統領令は企業の任意対応を基本としており、強制力ある連邦規制の立法化も実現していない。オバマ政権期に整備が進んだAI倫理指針や、バイデン政権下でのAI安全に関する大統領令（EO 14110）がトランプ政権下で撤回された経緯もあり、連邦政府レベルの規制の空白は広がっている。カリフォルニア州の今回の動きは、その空白を州レベルで埋めようとする文脈でも注目される。

かつて法案を拒否した知事が専門家パネルを通じて同じ議論を再起動させた事実は、AI安全規制をめぐる議論が「技術革新か安全か」という二項対立を超え、「どのように規制するか」という実装フェーズに入りつつあることを示しているとも読める。

詳細はCalifornia orders AI safety panel, reviving a 'kill switch' idea Newsom once vetoedを参照していただきたい。