9月29日、Inside AIが「Top AI Researchers Warn of 'Intelligence Explosion' in Urgent White Paper」と題した記事を公開した。チューリング賞受賞者を含む20名以上のAI研究者が「インテリジェンス爆発」のリスクを警告するホワイトペーパーを連名で発表し、政府による義務的な規制導入を訴えていることを詳しく伝えている。
「インテリジェンス爆発」とは何か
2025年9月28日、ケンブリッジ大学の「AI科学・政策プログラム(Cambridge Programme on AI Science & Policy)」が公開したホワイトペーパー「What if automating AI R&D triggers an intelligence explosion」は、AIが自らの研究開発を自動化し始めた場合に何が起きるかを論じたものだ。
論文が描くシナリオの核心は再帰的自己改善(recursive self-improvement)である。AIシステムが自身のボトルネックを特定し、アーキテクチャの変更を自律的に実装していくことで、人間主導の研究サイクルをはるかに超えるペースで進歩が加速するというものだ。論文は「通常なら1年かかる進歩が、数週間で達成される」シナリオを想定している。
「Once an intelligence explosion begins, the window for action may close.(インテリジェンス爆発が始まれば、行動できる時間的余裕はなくなる)」——論文の結語はこう締め括られている。
署名者の顔ぶれが異例
この警告が重みを持つのは、署名者の顔ぶれによるところが大きい。
- Geoffrey Hinton(チューリング賞受賞者、ディープラーニングの父)
- Yoshua Bengio(チューリング賞受賞者)
- Jakub Pachocki(OpenAI チーフサイエンティスト)
- Eric Horvitz(Microsoft チーフサイエンティフィックオフィサー)
- Jack Clark(AI政策研究者、元OpenAI政策責任者)
AnthropicやOpenAI、Meta、Microsoftの研究者たちが、自社の雇用主を規制するよう政府に公開で求めている構図だ。業界の内側から規制受け入れを求める圧力は異例であり、米国・EUの立法プロセスにおける業界ロビー活動の影響力を相殺する可能性がある。
HintonはすでにAI規制について米上院議員に対し「行動できる時間は約1年」と証言済みであり、Bengioは国連安全保障理事会にフロンティアAIのライセンス制度を求めている。
数字で見るAI自動化の現在地
論文が根拠として引用するのは、Anthropicが自社の開発状況について公表した自己申告データだ。第三者による独立した検証を経た数値ではない点には留意が必要だが、AI R&D自動化の進行速度を示す具体的な指標として論文中で重要視されている。
- Anthropicの承認済みコードに占めるAIの割合:2025年1月の「低い一桁台」→ 2026年5月に80%超へ
- 高レベルの人間監督のみで自律的に完了したR&D作業の割合:2026年3月の1% → 2026年8月の**26%**へ
OpenAIは2028年までに完全自動化されたAI研究者を実現する目標を掲げており、このペースが続けば2028年半ばには数か月単位の研究プロジェクトが自動化される可能性があると論文は指摘する。
論文が求める具体的措置
研究者たちが政府に求めるのは以下の4点だ。
- インシデント報告の義務化:自律的自己改善の兆候を示したAIシステムの報告
- 独立した評価機関によるAI企業の安全性主張の検証
- 安全テストの要件化
- リスク閾値を超えたトレーニング実行を停止できる権限の政府への付与
反論と不確実性
論文自体も限界を認めている。技術進歩は歴史的にS字カーブや線形パターンをたどることが多く、コンピューティングリソースの制約、エネルギーコスト、データ不足といった要因が再帰的自己改善を自然に抑制する可能性がある。
懐疑論はAI研究コミュニティの内部にも根強い。例えば、Meta FAIR のYann LeCunは「現在のLLMアーキテクチャには根本的な限界があり、スケールアップだけでは真の自律的推論には到達できない」と繰り返し主張しており、「爆発的加速」シナリオそのものに異を唱える立場を公にとっている。また、スタンフォード大学のHAI(人間中心AI研究所)など複数の研究機関は、AIの能力評価に用いるベンチマーク自体の信頼性や飽和問題を指摘しており、加速の「証拠」として提示されるデータの解釈には慎重さが必要だとしている。
ただし論文は「加速が起きる確率が低くても、その際の対応時間が極めて短いという事実が、即時の規制行動を正当化する」と主張する。低確率・高影響のリスクに対してあらかじめ備えるべきという論理は、気候変動や核不拡散における予防原則の考え方とも通じるものだ。
詳細はTop AI Researchers Warn of 'Intelligence Explosion' in Urgent White Paperを参照していただきたい。