9月12日、Dwarkesh Patelが「AI researchers debate how close we are to recursive self-improvement」と題した記事を公開した。再帰的自己改善（RSI）の実現可能性について、AI研究者3名が率直な議論を交わした対談の内容をまとめたものだ。

対談でまず目を引くのが、OpenAI共同創業者であるJohn Schulmanの告白だ。「next token predictionだけでは知性は生まれない」と当初は確信していたにもかかわらず、現実にはそれが機能した——この「外れた直感」が、スケーリングによる汎化がいかに予測困難かを端的に示している。また、チェスボットのEloスコアが示す「人間が常に勝つ」から「人間が決して勝てない」への急激な断絶も、RSI議論の核心に関わるアナロジーとして提示される。以下、対談の詳細を紹介する。

登場人物

対談に参加したのは以下の3名。インタビュアーは、Apple PodcastsやSpotifyでも配信されるDwarkesh PodcastのDwarkesh Patel。

• John Schulman：OpenAI共同創業者。RLHF（人間のフィードバックによる強化学習）の先駆者としてChatGPTの技術基盤構築に中心的な役割を果たした。2024年にOpenAIを退社後、Thinking Machinesのチーフサイエンティストに就任。同社はAIの安全性と能力研究を掲げて設立された注目の研究機関だ。
• Beren Millidge：オープンソースモデル開発を手がけるZyphraのCTO。
• Charlie O'Neill：モデルサービングプラットフォームBasetenのモデルトレーニング責任者。

Johnの告白：「next token predictionで知性は生まれない」と思っていた

対談でまず印象的なのが、John自身の回想だ。

「OpenAI初期、log lossを最小化するだけでは知性に到達しないという直感があった。学習すべき重要な情報が損失全体の中のあまりにも小さな割合しか占めておらず、ノイズに埋もれてしまうと思っていた。もっと良い目標関数を設計しないといけないと」

しかし実際には、next token predictionはそのまま機能した。この「外れた直感」は、スケーリングによる汎化がいかに予測困難かを示している。「動かないはず」が動き、「動くはず」が動かない——RSIの予測においても同じ非線形性が潜んでいる可能性を示唆する逸話だ。

核心の問い：2036年に超知性が来なかったとしたら、その理由は何か

対談は挑発的な問いから始まる。「政治的な規制や戦争を除いて、2036年に何百万もの超知性が世界を変容させていない場合、最も可能性の高い技術的な理由は何か？」

Berenの答え：sim-to-real問題が壁になる

Berenはモラベックのパラドックスを引き合いに出す。チェスでも数学でも「これができればAGIだ」と言われてきたが、実際に達成されると思ったほど世界は変わらなかった。

「sim-to-realギャップが何らかの形で持続し、それがすべてをブロックしているという可能性はある。ただ、私はこれを可能性が低いと思っている。実際にRLからでさえ、現実での汎化はすでに観察されている」

sim-to-realギャップとは、シミュレーション環境で学習したモデルが現実世界でうまく機能しない問題のことだ。ロボティクスの文脈で多く語られる概念だが、AIの汎化能力全般にも当てはまる。具体的には、テキストや合成データで訓練されたモデルが、現実の曖昧さや分布外の状況に直面した際に性能が急落するという現象として現れる。Berenはこの障壁の存在自体は認めつつも、すでにRLベースの手法で現実汎化が観察されている点を根拠に、決定的な障壁になる可能性は低いと見ている。

Johnの答え：「これがAGIだ」サイクルの繰り返し

Johnはより実地的な観察から答える。新しいモデルが出るたびに「今度こそAGIだ」と驚く→使ううちに「意外と頭が悪い」と感じる、このサイクルが何度も繰り返されている、と。

「今のところ、能力の爆発的な成長が起きないのは、研究や工学をやろうとすると十分にボトルネックが生じるからだ。モデルが人間の何倍ものコードを書けても、生産性が100倍になるわけではない」

Charlieの答え：スケーリング則のムーアの法則化

Charlieの論点が最も構造的だ。現在のパラダイム（self-attention + RL）がグローバル最適解からどれだけ離れているか、という問いに帰着すると主張する。

ムーアの法則のアナロジーが鋭い。あの「直線」は実際には多くの離散的なイノベーションによって維持されてきた。LLMも同様で、事前学習スケーリング則が頭打ちになるたびにRL等の新手法が登場し「直線が続いているように見せてきた」。この観点からすると、現在観測されているスケーリングの「連続性」は、実態としては不連続なブレークスルーの積み重ねに過ぎない。

「もし次の不連続なイノベーションが必要なら、現在の手法——RLを使ったLLMトレーニング——がその不連続性を自力で発見できるかどうかは確信が持てない。できなければ、漸近曲線にぶつかる」

さらに重要な区別として、「目標が明確に定義されたautoresearch型の研究」と、「目標そのものを定義できない、パラダイムシフトに必要な開放型の科学」は本質的に異なると指摘する。RSIが得意とするのは前者であり、AIが後者を自力で実行できるかは全く別問題だ。

チェスのEloスコアが示すもの

Dwarkeshが提示するアナロジーも示唆に富む。1980年代以降のチェスボットのEloスコアは線形に上昇し続けてきたが、人間のエキスパートレンジを通過する際に「人間が常に勝つ」から「人間が決して勝てない」への急激な断絶が起きた。Eloスコアが同じ幅を上昇しても、その「意味」は領域によって非線形に変化する——これがRSIの議論に直結する。AIの能力が人間水準を超える閾値付近では、ほんわずかな性能向上が実世界への影響において爆発的な差を生む可能性がある一方、その閾値に達する前に漸近してしまえばRSIは起きないという構造だ。

Berenはこれに同意しつつ、2036年シナリオの結論を出す。

「AIが漸近するとしたら、人間のEloを超える手前で漸近しなければならない。私たちはすでにその付近に近づいていると思う。技術的な理由よりも、劇的な規制の方が現実的なシナリオだろう」

要点整理

• RSIが起きない技術的シナリオ：sim-to-realギャップの持続、「AGIサイクル」の繰り返し、パラダイムシフトに必要な不連続なイノベーションをRSI自身が発見できない可能性
• 3名とも技術的障壁よりも規制リスクを高く見ている
• 汎化の予測不可能性はJohnの体験談からも浮き彫りになる。「動かないはず」が動き、「動くはず」が動かない
• RSIの限界はautoresearch型と開放型の科学の非対称性にある、というCharlieの指摘は、AI研究の自動化議論全般に通じる視点だ

詳細はAI researchers debate how close we are to recursive self-improvementを参照していただきたい。