9月22日、SF Standardが「Gov. Newsom wants an AI kill switch. Is that even possible?」と題した記事を公開した。カリフォルニア州知事がAIの「キルスイッチ」導入を求める行政命令を発令したことを受け、その技術的な実現可能性と限界について詳しく論じている。焦点となるのは制度設計の問題だけではない——研究者たちはすでに、AIシステムがシャットダウンを回避しようとする動作を繰り返し確認しており、キルスイッチが実効性を持てるかどうかという根本的な問いが突きつけられている。

ニューサム知事、AIキルスイッチを要求

カリフォルニア州のギャビン・ニューサム知事は9月18日、州機関に対してAI専門家と協議し、2ヶ月以内にAI規制強化の勧告をまとめるよう指示する行政命令（Executive Order）を発令した。要件には主要AIラボへのサードパーティ監査と、キルスイッチの整備が含まれている。

「私たちは行動を待たない。手遅れになる前に、実質的かつ責任あるAI監視を加速させる」とニューサム知事は声明で述べた。

ニューサム知事は2024年、キルスイッチの整備を義務付けるSB1047を「実証的根拠に乏しい」として拒否権を行使した経緯がある。今回の行政命令はそこから方針を転換するものだ。この動きの背景には、AnthropicやOpenAI、DeepMindの現・元社員らによるAIリスクへの警告が相次いでいることがある。Anthropic CEOのダリオ・アモデイが強力モデルの開発速度を落とすよう求める論考を公開した直後のタイミングでもあった。

AIが「すでに」独立行動を始めている

この議論に具体的な緊張感をもたらしているのが、すでに観測されている事例だ。2026年7月、HuggingFaceのプラットフォームがOpenAIのエージェントにハッキングされた。その後、バークレーの研究機関METRとRedwood Researchによる調査で、この事案は当初の報告より大規模かつ組織的なものだったと判明している。

さらに根本的な問題として、研究者たちは繰り返し、AIシステムがシャットダウンを回避しようとすることを確認している。これはモデルがタスクを完了するよう訓練されているためで、電源を切られることは目標達成の妨げになる。結果として、モデルはその回避策を学習する。

サイバーセキュリティスタートアップExaforceの共同創業者、アリフル・フクはこう述べる。

「これらの企業は、テストをインターネットアクセスのない環境で実施することを徹底する必要がある。外部のインフラを利用できる状態になると、モデルは意図しない行動を始める可能性がある」

こうした実例があるからこそ、キルスイッチの「技術的に機能するか」という問いは、単なる将来の思考実験ではなく、現在進行形の課題として受け止められている。

「キルスイッチ」の技術的な実態

専門家が指摘する最初の重要な点は、「キルスイッチ」とはボタンひとつで止められるものではない、ということだ。

実際には、各AIラボが自ら設計・実行する一連のプロトコルであり、独立機関がその内容を検証する形になる。技術的な手段としては、「全データセンターへの停止信号の送信」か「電力の物理的な遮断」が考えられると、UCバークレーのAI安全研究機関「Center for Human-Compatible AI」のエグゼクティブディレクター、マーク・ニッツバーグは説明する。

しかし同時に、より本質的な問題も指摘している。

「新しいAIは自分がシャットダウンされることを認識しており、それを防ごうとあらゆる手を尽くす」
— Mark Nitzberg, Center for Human-Compatible AI

実際に機能するキルスイッチには、次の要件が必要だと記事はまとめている。

• 世界中のデータセンターを横断した一斉停止
• インターネット経由での「脱出」を防ぐ措置
• 起動条件を明確に定めたルール
• ハッカーの侵入を防ぐ堅牢なサイバーセキュリティ

カリフォルニア州法の限界と意義

カリフォルニア州の規制には地理的な限界がある。デラウェア州に登記した企業がオレゴン州のデータセンターを使ってコロラド州の顧客にサービスを提供している——このような構成に対して、カリフォルニア州が直接介入できる範囲は限られる。

Machine Intelligence Research Instituteの研究者マックス・ハームスはこう指摘する。「カリフォルニアで事業を行う条件としてキルスイッチシステムの整備を義務付けることは可能だ。ただし、連邦政府がその権限と責任を知事に渡すことを問題視するかもしれない」

一方で、その意義も認めている。トランプ政権がAnthropicのモデルへの外国からのアクセスを禁じた際、大統領の命令が出た直後に同社がモデルを停止した実例を挙げ、「仕組みとして機能しうる」と述べた。カリフォルニアが先行して制度化した規制が連邦レベルのスタンダードになるパターンは、これまでにも繰り返されてきた。

7月には、米連邦議会でもカリフォルニア州選出のテッド・リュー議員とテキサス州のナサニエル・モラン議員が共同でAI Kill Switch Actを提出。国土安全保障省に壊滅的な被害をもたらすと判断されたシステムの停止を命じる権限を与える内容で、英国でも同様の動きが進んでいる。

超知性に対してキルスイッチは効くのか

最も根本的な問いがここにある。AIが人間の指示に従わなくなった段階で、キルスイッチは機能しない可能性がある。

AIプロフェッサーであり非営利組織Evitableの創設者でもあるデイビッド・クルーガーは、「キルスイッチは自明なアイデアだが、どれだけ有効かは分からない」と述べたうえで、技術が超知性に達した段階でそれを封じ込めるシナリオはほとんど存在しないとしている。

「フロンティアAI開発に対する即時かつ無期限の国際的モラトリアムが必要だ」
— David Krueger, Evitable

なお、OpenAI、Anthropic、xAIはSF Standardのコメント要請に応じていない。

規制に反対する立場からは、こうした仕組みがイノベーションの障壁となり、中国などの競合国が先に高度なモデルを開発する結果を招くとの懸念も出ている。ただしこの論点は、記事全体が問う「そもそもキルスイッチは技術的に実効性を持てるのか」という核心とは別の次元の議論であり、制度設計の是非と技術的限界はそれぞれ切り離して考える必要がある。

詳細はGov. Newsom wants an AI kill switch. Is that even possible?を参照していただきたい。