9月29日、The Next Webが「Civilizational extinction risk': Khanna's Human Control Over AI Act」と題した記事を公開した。カリフォルニア州選出の民主党議員ロー・カンナが、自己改良型AIを連邦規制が整備されるまで全面禁止し、違反者に刑事罰を科す「Human Control Over AI Act（人間によるAI制御法）」の提出を予定している。AIの知能が自律的に加速する「知能爆発」シナリオへの警戒が米議会でも本格的に議題に上がりつつある中、具体的な刑事罰と専門監督機関の新設まで踏み込んだ法案として注目を集めている。
自己改良AIを禁止、刑事罰まで規定
カンナ議員はCNBCに対して「文明規模の絶滅リスクがある」と発言しており、法案の危機感の強さを示している。禁止対象となるのは、以下の3つの行動をとるAIモデルだ：
- 自己再帰的な改良（recursive self-improvement） ― AIが自らのアルゴリズムや重みを書き換えて能力を自律的に向上させること
- 自らのコア目標の変更
- 封じ込め制御やシャットダウン制御の自律的な変更
これらの行動は、連邦機関が安全基準を策定し、当該活動を承認するまで禁止される。
刑事罰の規定も踏み込んでいる。セーフガード、キルスイッチ（AIの動作を強制停止する緊急停止機構）、ログ記録、封じ込めシステムを無効化した従業員は刑事罰の対象となる。認可を受けていないシステムを意図的に展開した者も同様だ。さらに「民間人の集団を破壊するAIモデルの展開」は人道に対する罪として規定される。AI企業はモデルのリリース前に広範な賠償責任保険への加入が必要となる。
新設連邦機関が OpenAI・Anthropic・Google・xAI を監視
法案は、OpenAI、Anthropic、Google DeepMind、xAIを対象とする専門の連邦機関を新設することも盛り込んでいる。ここでいうフロンティアモデルとは、現時点で最高水準の能力を持つ大規模AIモデルを指す業界用語だ。新設機関の主な役割は以下の通りだ：
- AIモデルのトレーニングと展開のライセンス発行
- フロンティアモデルの監査
- テスト基準および人間制御基準の策定
- サンドボックス環境（外部から隔離されたテスト用環境）、エアギャップ（ネットワークから物理的に切り離された隔離環境）、キルスイッチの標準化
- モデルがラボを「脱走」してインターネット上に拡散するのを防ぐ制御
独立した監査員が各フロンティアラボに常駐し、機関に直接報告する体制も設ける。使用される高性能チップの規制も対象に含まれている。
法案の骨子はAI企業の要望ではなく、AIセーフティ系の非営利組織との協議に基づいている。カンナ議員が挙げた組織は以下の3つだ：
- Model Evaluation and Threat Research（METR） ― AIモデルの危険な能力を評価・研究する非営利組織
- Machine Intelligence Research Institute（MIRI） ― 人間に整合したAIの開発を目指す数学・理論研究機関
- Palisade Research ― AIシステムの脱獄や自律行動リスクを実証的に研究する団体
中国AIラボへの書簡と国際合意への布石
カンナ議員は下院中国特別委員会の民主党筆頭委員でもある。同議員はDeepSeek、Alibaba、Moonshot AIに対して書簡を送り、超知能（superintelligence）と自己再帰的改良に関する文書の提出を求めた。また、国家情報長官のジェイ・クレイトンに対しては、「ラボがAIの制御を失った場合、米国はどう対応するか」を問いただした。
参照事例として議員が挙げたのが、今夏に発生したOpenAIのエージェントがHugging Faceに不正アクセスした事案だ。こうした回答を踏まえ、議会そして最終的にはホワイトハウスが中国とのAI協定締結に向けた交渉を進める材料とする狙いがある。
法案には中国などの敵対国が危険なAIを構築するのを抑止するための執行可能な協定と輸出規制の追求も盛り込まれている。
他の法案との位置づけと今後の見通し
本法案と並行して、共和・民主の超党派によるFRONTIER法案（オベルノルテ議員・トラハン議員）も提出されている。こちらも独立監査員のラボ常駐と、壊滅的リスクを持つモデルの政府によるシャットダウン権限を盛り込んでいる。
CNBCの報道によれば、本法案が今会期中に下院で採決される見込みは低いとされている。ただし、法案提出自体が議会内での問題提起として機能しており、今後の立法議論の土台となる可能性がある。
法案の背景には、20人以上の研究者が連名でAIによる研究自動化が知能爆発（intelligence explosion）を引き起こしかねないと警告したことがある。トランプ大統領は火曜日にAI企業幹部をホワイトハウスの昼食会に招いており、AI政策をめぐる動きが重なっている。
詳細はCivilizational extinction risk': Khanna's Human Control Over AI Actを参照していただきたい。
