9月11日、Dwarkesh Patelが「AI researchers debate how close we are to recursive self-improvement」と題した記事を公開した。AI研究者3名が「再帰的自己改善（RSI）はどこまで現実に近づいているか」をめぐって交わした議論の書き起こしだ。

Dwarkesh Podcastは、AI・経済・歴史の最前線にいる人物を深掘りすることで知られる。今回の登場者はOpenAI元研究員でRLHF（人間のフィードバックによる強化学習）の研究を牽引したJohn Schulman、オープンソースモデルを開発するZyphraのCTO Beren Millidge、MLモデルの推論インフラを提供するBasetenのモデルトレーニング責任者 Charlie O'Neillという、立場の異なる3名だ。ホストDwarkeshの問いはシンプルかつ鋭い。「2036年になっても超知性が世界を変えていないとしたら、その最も可能性の高い技術的理由は何か？」

RSIとは何か、なぜ今議論されているのか

再帰的自己改善（RSI: Recursive Self-Improvement）とは、AIが自身の設計やアルゴリズムを自律的に改善し、その改善されたAIがさらに自身を改善する——という正のフィードバックループが発生する状態を指す。知性爆発（Intelligence Explosion）とも呼ばれ、AI安全性・能力議論の中核的な概念だ。現在のLLMがコードを書いたり研究仮説を生成したりできるようになった今、「AIが自分自身のトレーニングパイプラインを改良し始めるのはいつか」という問いはかつてなく現実味を帯びている。

「1ヶ月使うとバカっぽく見えてくる」サイクル論（John Schulman）

Schulmanの指摘は最も実感を伴う。

「新しいモデルが出るたびに人々は驚き、『これがAGIだ』と言う。でも1ヶ月使うと、バカっぽく見えてくる。このサイクルが何度繰り返されるかは予測が難しい」

AIが爆発的に能力を伸ばせない理由として、彼はコード生成を例に挙げる。モデルが人間の何倍もコードを書けたとしても、生産性が100倍になるわけではない。研究・工学の現場では、モデルの判断力が弱い部分がボトルネックとして残り続けるからだ。

さらに印象的なのは、彼自身の自己言及的な回顧だ。OpenAI初期、Schulmanは「ログ損失の最小化だけでは知性に到達できない」と直感していたという。

「重要な情報は損失全体に占める割合が小さすぎて、ノイズに埋もれてしまうと思っていた。もっと優れた目的関数が必要だと」

しかし結果的に、次のトークン予測という単純な目的関数は「なぜか機能してしまった」。この経験が示すのは、汎化がいつ・どこで起きるかを予測するのは今も極めて難しいという事実だ。現在の事後学習（post-training: 基盤モデルを人間の指示や好みに合わせて追加調整するフェーズ）のベンチマークがユーザー満足度に直結しないのも、同じ構造的問題を抱えている。

「sim-to-realギャップ」が永続する可能性（Beren Millidge）

Berenが最初に挙げるシナリオは、Moravec's Paradox——チェスなど人間が難しいと感じる抽象タスクはAIが得意な一方、常識的な知覚・運動タスクは苦手という逆説——に似た構造が今後も続く可能性だ。ベンチマークでは圧倒的な性能を示しながら、現実世界へのsim-to-realギャップ（シミュレーションと実世界の乖離）が埋まらない、というシナリオである。

彼はこれを「可能性は低い」としつつも、メタ学習の汎化と継続学習（Continual Learning）の両方が極めて困難であり続ける場合には現実になりうると述べた。ただし、このシナリオよりも「より可能性が高い」と見るのは、規制による介入だ。技術的には到達できる可能性があるにもかかわらず、法制度や社会的合意がそれを止める、というシナリオの方が筋が通っていると指摘した。

「不連続なイノベーション」が必要になる可能性（Charlie O'Neill）

Charlieの視点は、より構造的な問題を突く。現在のパラダイム（Transformer＋RL＋スケーリング）は、かつてのMooreの法則——トランジスタ集積度が約2年で2倍になるという経験則——に似た軌跡をたどっている。事前学習（pre-training）のスケーリング則が頭打ちになった後、RLの導入によって新たな成長曲線が生まれた。

ただしMooreの法則が数十年維持されたのは、数多くの不連続なイノベーションの積み重ねがあったからだ。Charlieが問うのは、「次の不連続性は現在のパラダイムの延長で発見できる類のものか」という点だ。もし勾配降下法やニューラルネットそのものを捨てるような根本的な刷新が必要なら、RSIを目指したRLすらその発見を成し遂げられないかもしれない。

チェスエンジンのEloカーブが示す「都合の良すぎる条件」

Dwarkeshが持ち出したのが、1980年代以降のチェスエンジンのEloスコアの推移という比喩だ。Eloは長期にわたってほぼ線形に上昇し続けたが、「人間が常に勝てる」状態から「人間が決して勝てない」状態への移行は、この線形な上昇の中で急激な不連続として現れた。

Berenはこの比喩に同意しつつ、鋭い反論を加えた。「すでに人間のEloに近づいている」とすれば、技術的な理由だけで2036年に世界が普通のままでいるためには、ちょうどその直前で漸近しなければならないという非常に都合のいい条件が必要になる。むしろ現実的なシナリオとして彼が挙げるのは、やはり規制による介入だ。

3者が共有する「不確実性」

3者の視点は異なるが、いくつかの共通認識がある。スケーリングは機能し続けているものの、「人間の研究者を完全に超える」水準に現在のパラダイムで到達できるかは不明だ。「目標が明確に定義されたタスクでのAI自動研究」と「パラダイムシフトを要する開放的な科学」は本質的に異なり、後者へのRSIの適用には別の議論が必要になる。そして3者とも、技術的な限界よりも規制や社会的合意の方が現実的なブレーキになりうるという点では暗黙の一致を見せている。

詳細はAI researchers debate how close we are to recursive self-improvementを参照していただきたい。