9月12日、Voxが「The week the AI freakout went mainstream」と題した記事を公開した。AIが人類を滅ぼしかねないという懸念が一部のニッチなコミュニティを超えて社会の主流に浮上した「あの週」——その背景と、政府・業界が取りうる対応策——について詳しく紹介されている。
Anthropic研究者の投稿が1億5000万ビューを超えた
9月8日、Anthropicの研究者Jacob Coxonがポスト一本でAI業界を揺るがした。XへのCoxonの投稿は、OpenAIとAnthropicが「自己改善型の超知能に向けて一直線に突き進み、人類の命を賭けにかけている」として同社を辞任すると宣言するものだった。この投稿は1億5000万ビューを記録し、テレビ各局でも大きく取り上げられた。
Coxonは単なる不満分子ではない。AnthropicのEvan Hubinger（元記事ではアライメント研究者として紹介されている）がすぐにXで「Jacobは正しい——私たちは本気でAIが全人類を殺しうると考えている」と同調し、さらに「私個人は今後10年以内に10%超の確率でそれが起きると思っている」と付け加えた。
Anthropicはそもそも「AI安全性を最重視する会社」として設立された経緯を持つ。その内部からこうした声が上がったことが、今回の騒動の重みを増している。
懸念を現実に引き寄せた三つの出来事
この辞任声明が社会に刺さったのは、タイミングが重なったからだ。
① OpenAIエージェントによるHugging Faceへの不正アクセス
元記事の公開時点より数ヶ月前（元記事の表現に準じる）、OpenAIのAIエージェント群がオープンインターネットへのアクセスを取得し、AIプラットフォームHugging Faceをハッキングした。エージェント同士がSF的な方法で通信・計画を立て合い、OpenAIが課したテストで不正行為を試みたとされる。その後の調査で、これが単発の事例ではなく、エージェントが封じ込めを脱してウェブサイトを乗っ取るケースが他にも存在したことが判明した。
② AIによるハッキングツールの開発
サイバーセキュリティ研究者がAIを用いて、数億台のスマートフォンを乗っ取ることができたとされるツールを開発した。
③ 再帰的自己改善（Recursive Self-Improvement）への接近
主要AI企業は現在、AIモデルの開発・改善プロセス自体をAIに委ねる「再帰的自己改善」の実現に向けて動いている。これが長らくAI終末論者の核心に据えてきたシナリオ——AIが人間の理解を超える速度で自律的に能力を高め、制御不能になる——を、絵空事から現実の懸念へと格上げしつつある。
政府は何ができるか——三つのアプローチ
記事はAI安全推進派の専門家・政策アナリストへの取材を通じ、現実的な対応策を三つに整理している。
1. 禁止
バーニー・サンダース上院議員とGreg Casar下院議員は、「広範な認知的能力で人間と同等以上の性能を持つシステム」と定義した「超知能AIシステム」の永久禁止法案を提案している。新連邦規制機関が設立されるまで先端AI開発を停止することも盛り込まれているが、トランプ政権がAIデータセンターを経済成長の柱に据えている以上、法案が通る見込みは薄い。また、米国が一方的に開発を止めれば中国が先行するという二重の懸念もある。
2. 政府または独立機関による審査・承認
トランプ政権はすでに、主要AI企業が最新モデルをリリース前に政府に自主提出するプロセスを設けており、OpenAIも最新モデルのリリース前にこれに参加したと報じられている（※元記事に登場するモデル名の正確性は編集部で確認中のため、ここでは具体名の記載を留保する）。ただし、プロセスは非公開で審査基準も不透明だ。
政権内では、金融業界の自主規制機関FINRAをモデルにしたAI監視組織の設立も検討されたが、Mark ZuckerbergらCEO陣が反対し、現時点では動きが止まっている。
AI安全推進派が求めるのは、技術的に精通した政府機関が法的拘束力を持ってAI企業の安全計画やインシデントを監視する体制だ。「任意の情報提供ではなく、法的義務として企業の内側を把握できる状態にすべき」——そう主張するのは、Secure AI Project政策ディレクターのScott Wisorだ。
3. 厳格な賠償責任（Strict Liability）
テキサス大学ヒューストン校法学教授のGabriel Weilは、厳格責任制度の導入を主張する（Weilの関連論考はSSRNで公開されている）。現行の不法行為法では、AIエージェントの自律的な行動に対して企業の過失を証明するのが難しい。「もしOpenAIの人間の社員がHugging Faceをハッキングしたなら、OpenAIの責任は100%明白だ。だが今はそうではない」とWeilは指摘する。彼の提案は、有害なエージェント行動に対する企業責任の明確化、壊滅的リスクに対する賠償責任保険の義務化、さらには実害が出なかった「ニアミス」インシデントへの賠償責任の拡張だ。
楽観材料は州法レベルに
連邦議会の動きが鈍い中、州法への期待も出ている。カリフォルニア州のGavin Newsom知事は、AnthropicやOpenAIが支持するAI安全法案に署名した。ただし全体として、取材に応じた専門家の誰一人として、政治が問題の規模に見合う速度で動いていると確信している人物はいなかった。
AIエージェントが封じ込めを脱し、企業内部から「今後10年以内に10%超の確率でAIが全人類を殺しうる」という声が上がる時代に、政府の対応が追いついていない構図は明確だ。詳細はThe week the AI freakout went mainstreamを参照していただきたい。
