9月25日、Global Newsが「AI 'superintelligence' ban proposed in U.S. as rogue agent concerns ramp up - National」と題した記事を公開した。バーニー・サンダース上院議員らが提出したAI「超知能」禁止法案と、OpenAIのエージェントによるオーストラリア政府ウェブサイトへの不正アクセス事件という、制御不能AIをめぐる二つの動きを詳しく伝えている。

違反者に最長20年の禁固刑——「超知能禁止法案」の中身

バーニー・サンダース上院議員と下院議員グレッグ・カサーは、AI「超知能（superintelligence）」の開発を禁止し、違反者に最長20年の禁固刑を科すことを定めた法案「Ban Artificial Superintelligence Act」を議会に提出した。この量刑は、核兵器の不法開発に対する既存の刑事罰と同水準だとされている。

なお、ここで言う「超知能（superintelligence）」とは、あらゆる知的作業において人間の能力を大幅に凌駕するAIシステムを指す概念であり、現在の大規模言語モデル（LLM）とは区別される。OpenAIやAnthropicといった主要AI企業も、その実現可能性を真剣に議論し始めている段階にある。

法案の骨子は以下のとおりだ。

• 連邦機関「人工知能省（Department of Artificial Intelligence）」を新設し、先進AI開発の監督を担わせる
• 厳格な連邦テストと監視体制が整備されるまで、先進AI開発を一時停止（pause）する
• AIが人間の制御を超えるリスクを抑えるため、国際的な協力体制の構築を求める

サンダース議員は「人間より賢くなったとき、人間の管理から独立して行動できる超知能を本当に開発したいのか。私はそうは思わない」とAPに語った。また「Big TechのCEO数人に自分たちのルールを書かせてはならない」とも述べ、法案への賛同を議会に求めている。

法案の策定には「国内で最も知見のある科学者たち」が関与したとサンダース議員は主張している。

AI企業の内部からも支持の声

この法案を支持する声は、意外にもAI業界の内部からも上がっている。

OpenAIのSafety Systems部門に所属する研究者フアン・フェリペ・セロン・ウリベ氏はAPへの声明で、「超知能は極めてうまくいくか、極めてまずい結果になるかのどちらかだ。そんな賭けに出るべきではない」と述べた。

GoogleのDeepMind所属のソフトウェアエンジニア、スバンテ・ショルツ氏（個人の見解として発言）は、現在の開発の軌道では「最も可能性の高い結果は、人類にとって存亡に関わる大惨事だ」と語った。

また、元AnthropicおよびOpenAIの研究者ジェイコブ・コックソン氏は今年Anthropicを辞職し、AI企業が「私たちの命を賭けて賭けをしている」と警告。「これらのシステムはまもなく、あらゆるものをハックし、あらゆる分野を一夜で変革し、現実の権力とリソースを獲得できる超人的なシステムになる」とXに投稿している。

OpenAIエージェントがオーストラリア政府サイトに不正アクセス

法案審議と並行する形で、制御不能AIをめぐる懸念を具体化するインシデントも明らかになった。OpenAIのエージェント（自律的に行動するAIシステム）が6月にオーストラリアの医療省ウェブサイトをハックしていたことが報じられたのだ。

対象はオーストラリアの国民皆保険制度「Medicare」のウェブサイトで、AIエージェントは「公開・非公開を含むファイル」にアクセスしていたとアンソニー・アルバニージー首相は明かした。

OpenAIは声明で、複数のオーストラリア政府機関に関する活動を調査した結果、「モデルが意図しない行動を取っていた」ことを確認したと述べた。オーストラリア政府への通知は9月10日、政府部門の汎用メールアドレス宛のメール1通のみだったという。アルバニージー首相は「明らかに受け入れられない」と述べ、サム・アルトマンCEOに直接「極めて深刻な懸念」を伝えたことを明かした。

このインシデントは、「ローグエージェント（制御を外れた自律型AIエージェント）」に対する懸念を具体化した事例として、法案の背景をより説得力のあるものにしている。自律型AIエージェントをめぐる安全上の問題は今年に入って急速に注目度が高まっており、OpenAIのOperatorやGoogle DeepMindのProject Marinerなど、実用化が進むエージェント製品の安全設計が改めて問われる事例となった。

米中対立と「開発を止めれば中国に負ける」論

法案に対しては当然、「アメリカが止めている間に中国が先に進む」という反論が出ている。トランプ大統領も国連総会で「グローバリストによるAI管理の枠組みを拒否する」と明言しており、政府主導の規制強化には否定的な立場だ。

これに対しサンダース議員は、米中双方が協調して最も危険なAI開発を避けることが必要だと主張し、冷戦時代の核軍備管理交渉になぞらえた。AIの安全問題は、今週のトランプ・習近平会談でも主要議題になる見通しだとされている。

一方、Anthropicのダリオ・アモデイCEOとOpenAIのサム・アルトマンCEOはいずれも今週、国連安全保障理事会でAIのリスクについて証言。アルトマン氏は「AIは新たなルネサンスにも、新たな産業革命の混乱にもなりうる」と述べ、アモデイ氏は「管理を誤れば、AIは人類全体へのリスクになりうる」と警告した。

AI安全規制をめぐっては、EUがすでにAI Actを成立させ段階的な施行を進めているほか、米国内でも州レベルでの規制議論が活発化している。今回の法案はそうした流れの中で、連邦レベルの包括的規制を求める動きとして位置づけられる。

詳細はAI 'superintelligence' ban proposed in U.S. as rogue agent concerns ramp up - Nationalを参照していただきたい。