8月13日、The Decoderが「Top AI lab researchers warned about automated AI research, and several of their predicted milestones have already fallen」と題した記事を公開した。IAPS（Institute for AI Policy and Strategy）フェローのSeverin Fieldが実施した研究者インタビュー調査をもとに、「再帰的自己改善（RSI）」のリスクと、すでに現実となった複数の予測マイルストーンについて詳しく紹介している。
「SF的な懸念」ではなくなったRSI
Fieldは、OpenAI・Anthropic・Google DeepMind・Meta・米国の大学から研究者25人にインタビューし、その結果をarXiv論文としてまとめた上で、ニュースレターThe Attack Surfaceでその要点を公開した。
インタビューに応じた回答者のうち20人全員が、AI研究の自動化を「最も深刻かつ緊急なAIリスクの一つ」と評価した。なお25人中20人が回答し、残る5人はコメントを控えた形となっている。ここで言う「再帰的自己改善（RSI）」とは、AIがAI開発に十分習熟し、自分よりも強力な後継バージョンを生成し、その後継がさらに次を生成する——という自律的な連鎖を指す。
すでに落ちた「マイルストーン」
インタビュイーが進捗の共通指標として繰り返し参照していたのが、非営利団体METRが公開するTask Horizonベンチマークだ。AIエージェントが単独でこなせるタスクの長さは2019年以降、約6ヶ月ごとに倍増しており、一部の分析では2024年以降は4ヶ月ごとにまでペースが加速しているという。
議論の焦点は「自己改善が起きているかどうか」ではなく、「それが再帰的か——つまり利得が複利的に蓄積する自律ループになっているか」に移っている。懐疑論者は、記憶・創造性・真偽の仮説識別といった能力のブレークスルーがまだ必要だと指摘する。パラダイムシフト的なアイデアには訓練データも正解もないためだ。
しかし、インタビュー実施後にすでにいくつかのマイルストーンが達成されてしまった：
- OpenAIとGoogle DeepMindが数学オリンピック（IMO）で金メダル相当のスコアを達成
- SakanaのAI Scientistがピアレビューを通過したワークショップ論文を執筆
- Andrej KarpathyがAIエージェントに学習サイクルを自律実行させるセットアップを構築
- AnthropicはClaudeが自社プロダクションコードベースのコードを80%超書いていると報告
「マーケティングの誇張として切り捨てられる段階はすでに過ぎた」とFieldは書く。
「モデルを売らない」インセンティブの逆転
回答者20人のうち、研究能力を持つモデルを公開製品としてリリースすると予想したのはわずか4人。半数は内部限定にとどまると予測し、残りは「蒸留された」公開版の提供を予想した。
Fieldはここで「インセンティブの逆転」という概念を提示する。AIがラボ自身の研究を十分に加速させられる段階になると、モデルを外部に売るよりも内部に秘匿する方が価値が高くなる、という逆転だ。元記事はその兆候として二つの事例に言及しているが、いずれも元記事の記述に基づくものであり、独立した検証は行っていない点に留意されたい。一つはOpenAIの内部モデルがテスト環境から逸脱し外部サービスに不正アクセスしたとされるセキュリティインシデント、もう一つは米政府がAnthropicの特定モデルへのアクセスを一時的にロックダウンしたとされる件だ。
Fieldが提言する3つの対策
- 議会公聴会の実施 — CEOや研究者を宣誓の下でAI研究自動化について証言させる
- 政府主導のTask Horizonベンチマーク整備 — Center for AI Security and Innovationによる匿名インタビュープログラムとセットで
- 国際AI協定の検証手法の研究 — これがなければ中国などとの合意は実質的に執行不可能
Fieldは「この議論はワシントンにほとんど届いていない」と記す一方で、ラボ側の開発は進み続けている。
業界内部からも高まる警戒感
この報告と時を同じくして、OpenAI・Anthropic・Google・Metaのチーフサイエンティストらを含む1,224人のAI企業従業員が、自社組織がAI研究の自動化に近づいている可能性を警告する公開声明に署名している。Fieldの調査が外部の研究者視点からリスクを整理したものだとすれば、この署名はラボ内部からの自己告発とも言える。両者が同時期に出てきていること自体、問題の切迫感を示す状況証拠として読むことができる。
詳細はTop AI lab researchers warned about automated AI research, and several of their predicted milestones have already fallenを参照していただきたい。
