10月3日、The Cooldownが「AI researchers warn governments that an 'intelligence explosion' could outpace human control」と題した記事を公開した。「知能爆発が始まってしまえば、行動できる窓は閉じるかもしれない」——この一文を核心に据えた共同論文を、20名以上のAI研究者が発表した。人間がAIを制御できるうちに手を打てという警告であり、その緊迫感はタイトルそのものに凝縮されている。
「窓が閉じる前に」
論文が最も強調するのはタイミングだ。AIが自律的に自身を改善し始めた後では、人間が介入できる余地は急速に失われる——著者らはそう主張する。
サイバー・生物兵器の脅威が防御側の対応速度を上回るリスク、特定分野で先行した国家が決定的な優位を得るリスク、そして人間がAIに依存しすぎて重要システムを操舵できなくなるリスクが具体的に挙げられている。この「窓」の概念こそが、論文全体の構造を貫く問題意識だ。
ノーベル賞受賞者らが連名で警告
論文の共著者は20名以上にのぼる。ノーベル賞受賞者でAIの先駆者であるGeoffrey Hinton、同じくAI研究の第一人者Yoshua Bengio、Anthropicの共同創業者Jack Clark、そして元記事でOpenAIのチーフサイエンティストと紹介されているJakub Pachockiらが名を連ねる。
彼らが問題視するのは、AIが人間の介入なしに自らの改善を繰り返す「再帰的自己改善」だ。論文ではこれを「自動化されたAI研究開発（Automated AI R&D）」と呼ぶ。
AIがエキスパートレベルで研究開発を実行できるようになれば、1人の開発者が数百万人規模のトップ研究者に相当するアウトプットを生み出す作業を指揮できる計算になる。
「知能爆発」とは何か
「知能爆発（Intelligence Explosion）」とは、AIが自身をより高性能なAIの設計に使い始めることで、改善速度が人間の監視能力を超えて加速するシナリオを指す。Irving John Good（I.J. Good）が1965年の論文で提唱した概念であり、AI安全性コミュニティでは長年議論されてきたテーマだ。
今回の論文は、従来のAIリスク論が「遠い将来の仮説」として扱われがちだったのに対し、現在進行中の技術動向を根拠に「今まさに備えが必要な問題」として政策立案者に突きつけた点で、過去のAI安全性に関する公開書簡とは一線を画す。著者陣の顔ぶれも、学術研究者だけでなく現役の産業界リーダーを含む点が特徴的だ。
論文はその影響をこう表現している。
「知能爆発は人類史上最も重大な技術的発展となりうる。数年分の進歩が数カ月以下に圧縮され、AIシステムに対する人間の制御が脅かされ、国家・企業・政府機関の内外における権力の抑制が深刻に侵食される可能性がある」
すでに始まっている自動化
これは純粋に将来の仮説ではない。すでに現在進行形の動きがある。
- AnthropicはAIが自社コードの80%を生成していると公表している
- OpenAIは新モデルのトレーニングを含むタスクに自律型AIエージェントを活用している
論文は「ソフトウェア主導の知能爆発は可能であるという予備的証拠がある」と述べる一方で、サプライチェーンの制約・規制・展開上のボトルネックが進展を遅らせる可能性も認めている。また、AIが安全性研究やリスク軽減そのものを加速させる可能性についても言及している。
著者らは2028年までに、人間が数カ月かけるプロジェクトをAIが完全自動化できるようになると予測する。
論文が提言する政策
研究者たちは各国政府に対し、以下の対策を講じるよう求めている。
- AI研究開発の進捗に関する透明性レポートの義務化
- 企業内への独立監査人の常駐
- AIシステムの改善速度への上限設定（キャップ）
- 必要時にAIプロジェクトを一時停止できるよう、データセンターとの事前調整
- 自動化されたAI R&Dシステムを隔離し、人間の制御外に逸脱しないようにする
- 複数シナリオを想定した緊急対応計画の策定
また、AnthropicとOpenAIはすでに独立した評価機関によるモデル審査を受け入れることに合意しており、論文の提言と一定の方向性を共有している。AIガバナンスをめぐる国際的な議論が加速するなか、本論文はその実践的な起点となることを意図している。
詳細はAI researchers warn governments that an 'intelligence explosion' could outpace human controlを参照していただきたい。
